首页>>后端>>Golang->go并发模型流水线?

go并发模型流水线?

时间:2023-12-06 本站 点击:0

【Go高效并发模式】

for select

select timeout模式

Pipiline模式

上述例子中,我们可以总结出一个流水线模式的构成:

扇入和扇出模式

Tips :扇出和扇入都像一把打开的扇子,因为数据传递的方向不同,所以叫法也不一样, 扇出的数据流是发散传递出去,是输出流;扇入的数据流是汇聚进来,是输入流。

Tips :改造新增了merge函数,其他函数保持不变,符合开闭原则。 开闭原则规定“软件中的对象(类、模块、函数等等)应该对于扩展是开放的,但是对于修改是封闭的”。

Futures模式

小结 :并发模式和设计模式很相似,都是对现实场景的抽象封装,以便提供一个统一的解决方案。但是和设计模式不同的是,并发模式更专注于异步和并发。

go 的并发调度(一) GMP 模型

原文出自: Golang调度器GPM原理与调度全分析

M想要执行、放回G都必须访问全局G队列,并且M有多个,即多线程访问同一资源需要加锁进行保证互斥/同步,所以全局G队列是有互斥锁进行保护的。

老调度器有几个缺点:

面对之前调度器的问题,Go设计了新的调度器。

新的调度器引入了P的概念:Processor,它包含了运行goroutine的资源,如果线程想运行goroutine,必须先获取P,P中还包含了可运行的G队列。

这意味着在程序执行的任意时刻都只有$GOMAXPROCS个goroutine在同时运行。

M与P的数量没有绝对关系,一个M阻塞,P就会去创建或者切换另一个M,所以,即使P的默认数量是1,也有可能会创建很多个M出来。

从上图我们可以分析出几个结论:

1、我们通过 go func()来创建一个goroutine;

2、有两个存储G的队列,一个是局部调度器P的本地队列、一个是全局G队列。新创建的G会先保存在P的本地队列中,如果P的本地队列已经满了就会保存在全局的队列中;

3、G只能运行在M中,一个M必须持有一个P,M与P是1:1的关系。M会从P的本地队列弹出一个可执行状态的G来执行,如果P的本地队列为空,就会想其他的MP组合偷取一个可执行的G来执行;

4、一个M调度G执行的过程是一个循环机制;

5、当M执行某一个G时候如果发生了syscall或则其余阻塞操作,M会阻塞,如果当前有一些G在执行,runtime会把这个线程M从P中摘除(detach),然后再创建一个新的操作系统的线程(如果有空闲的线程可用就复用空闲线程)来服务于这个P;

6、当M系统调用结束时候,这个G会尝试获取一个空闲的P执行,并放入到这个P的本地队列。如果获取不到P,那么这个线程M变成休眠状态, 加入到空闲线程中,然后这个G会被放入全局队列中。

pipe软件怎样生成可达图

这样生成,第一步,用网格建构几何体造型

1.1 用网格立方体指令MeshBox以以下参数在场景中生成一个立方体网格

◆定位方式:中心点

◆X、Y、Z网格数量:1

◆长、宽、高:120mm

4ffb78ff09ca566aa38de58d7b6d2887.png

1.2 选取这个立方体网格,在指令提示栏内键入subdivide指令,对立方体网格进行一次细分操作,回车确认后得到以下结果

0d04b57f2fee50e79c394afac4ae4825.png

▲每一个网格都被细分成4个

1.3 开启网格的控制点(F10键),用SetPt指令与操作轴来调整网格的外形,让它接近图片内底座的外形

f52515a9f6325f37500fd1c217e7e7aa.gif

1.4 使用Gumball操作轴,按住Ctrl+Shift键选取顶部的网格后挤出新网格面,以3轴收缩这些网格面,最后生成底座的凹陷特征

4d5fa7ef768f5106df6afb2ba616cdcc.gif

000a6340ad9d289bd9f32c28a368508c.png

▲得到这个结果

1.5 打开过滤器Filter,只勾选子物体及点和顶点,这样方便我们选取,然后调整顶部的造型

a952c6d5dc6de27fb0e9f3d932c5535f.png

cbaf2ad5ab060eed12f8098e6d46f66b.gif

▲每次操作完成后记得勾选停用过滤器

f7916f50e11c9480cf44a684a6d3ce7e.png

▲得到这个结果

1.6 继续用操作轴、SetPT挤出并调整出底座连接处的形状

1fe6501df44b8a8be92d6d2046aad2f0.gif

a4705350b3c2bd12b72749f9d6f80e11.gif

▲可切换至半透明显示模式,方便选取

第二步,生成环绕圆管造型

2.1 在前视图,Curve指令以放置控制点的方式建立环绕状的曲线,以用作后续生成圆管之用。

f03cc4b53cbfc6590ede9ad67334b767.gif

2.2 先确认已开启了记录建构历史,再用这曲线以Pipe指令生成圆管

d617ea1300c24145011e8d0fe7b29e5e.png

09a998212005b381ee5a68338aa7be7f.gif

▲选项中点击为不加盖

2.3 打开过滤器,只勾选曲线和控制点两项,打开这曲线的控制点来调整它的空间形态,最后使圆管符合参考图的形态

88556dfaede9a727a272934900f7a9ba.gif

▲带有建构历史来生成圆管空间形态

第三步,转换成网格进行编辑

3.1 选取圆管曲面,用Rebuild指令进行曲面重建,参数设定见下图:

24cd0f199d873aae820778487df12d91.gif

3.2 选取重建后的圆管,用Mesh指令以下图所示网格选项把曲面转换成网格,最后删除曲面只保留网格对象

92d2208636e4c465546d8b238e15f1fe.gif

3.3 按着Ctrl+Shift键,按下图所示选取并删除网格

ab673bb74102b000c1276866c9bad5cd.gif

第四步,生成细分曲面

4.1 使用3DFace指令,把底座与管子间以4边结构的方式进行逐一连接,最后再把管子的开口封闭上。

4.2 连接完成后框选整个模型,用Join指令把所有网格组合成一体

4.3 在指令提示栏中键入subdfrommesh指令,选取模型后回车确定,生成细分曲面

5c8045a7b27e55b18d7b46f00b3d3d54.gif

▲4.1-4.3步骤如动图所示

第五步,细分曲面转换成NURBS实体

5.1 当牙刷架的形态确定后,用ToNurbs指令把这个细分曲面转成NURBS曲面,最后组合成一个实体

5b20176e57bdf80ec9b32f59c5813319.gif

第六步,快速渲染

通过快速设定场景、材质、灯光后,切换到光线跟踪显示模式(Cycles引擎),即可快速得到一张效果不错的渲染图

52e36f7035dc277d18ece7a125732e93.png

点击

Rhino 6 渲染公开课_腾讯课堂ke.qq.com

3a7c009a8b39b99ca515fa7d4c568671.png

免费学习Rhino 6 产品渲染教学

欢迎关注Rhino原厂微信公众平台,每周都有新技能分享哦~

fc244b6903c2906cd9e0e4abf8fd76f4.png

相关资源:RHINO犀牛软件入门教程-软考工具类资源-CSDN文库

打开CSDN APP,看更多技术内容

图片跟着鼠标_Rhino细分建模分享 Part2鼠标底部造型与细节_邓凌佳的博...

目前RhinoWIP 还没有直接提供细分顶点、边线与片面的过滤工具,所以选择的时候需要比较细心一些,推荐使用Ctrl+Shift+鼠标左键选取子物件的方式,选取细分特征时双击鼠标左键还可以实现快速 Loop选择,例如上图中最后的RemoveCrease 2.2细分建模...

继续访问

检测鼠标是否双击_Rhino细分建模分享 Part3 鼠标简易结构设计_weixin_39...

这里提供两个方法进行干涉检查,RhinoWIP的新增功能 Clash ,这工具可以分两组选择,然后在两组之间快速的找到干涉的位置。 2.2 第二个方法是使用两组物件之间计算相交线的工具 IntersectTwoSets,见以下GIF: 提示: 如果使用 IntersectTwoSets...

继续访问

pipe flow expert 教程

pipe flow expert 教程 2013版本

PipeTransformer:适用于大规模模型分布式训练的自动化弹性管线

内容导读 本文围绕一篇论文展开,探讨了 PyTorch DDP (torch.nn.parallel) 以及 Pipeline (torch.Distributed.Pipeline) 的加速混合。 本文首发自微信公众号「PyTorch 开发者社区」 论文题目: PipeTransformer: Automated Elastic Pipelining for Distributed Training of Large-scale Models(PipeTransformer: 用于大规模模型分布式训.

继续访问

史上最全三维建模软件汇总_普通网友的博客_最容易入门的...

3、Rhino Rhinocero,简称Rhino,又叫犀牛,是一款三维建模工具。不过不要小瞧它,它的基本操作和AutoCAD有相似之处,拥有AutoCAD基础的初学者更易于掌握犀牛。目前广泛应用于工业设计、建筑、家具、鞋模设计,擅长产品外观造型建模。 4、Zbrush ...

继续访问

OCTO 2.0:美团基于Service Mesh的服务治理系统详解_美团技术团队的博客...

基础设施是指美团现有的服务治理系统OCTO1.0,包括MNS、KMS(鉴权管理服务)、MCC(配置管理中心)、Rhino(熔断限流服务)等。这些系统接入到OCTO 2.0的控制平面,避免过多重构引入的不必要成本。

继续访问

进程(四):进程间通信 —— Queue(队列)和Pipe(管道)

目录 进程间通信 队列 概念介绍 方法介绍 代码实例 生产者消费者模型 JoinableQueue([maxsize]) 管道(了解) 进程间通信 IPC(Inter-Process Communication) 队列 概念介绍 创建共享的进程队列,Queue是多进程安全的队列,可以使用Queue实现多进程之间的数据传递。 ●Queue([maxsize]) 创建...

继续访问

PIPE 使用介绍

文章目录一、pipe 简介二、pipe 代码示例 一、pipe 简介 pipe 也叫无名管道,有如下特点: 半双工,同一时刻数据只能一端操作 数据只能从一端写入,从另一端读出 存储在内存缓冲区,不存储在文件系统中,只能用于父子进程通信 数据一旦从管道中读走,就从管道中释放空间 二、pipe 代码示例 创建无名管道,其中 fd[0] 固定用于读管道,而 fd[1] 固定用于写管道 一般文件 I/O 的函数都可以用来操作管道( lseek() 除外) 默认情况当管道里没有数据时,另一个进程调用 read(

继续访问

3dmax软件给模型添加标注尺寸教程_3d模型的博客_3dmax做的模型...

步骤一、使用3dmax软件的“工具”—“测量距离”,可以测量任意位置的距离。包括模型之间的尺寸。 步骤二、我们可以看到使用3dmax软件测量距离工具后的模型尺寸结果。接下来我们需要将尺寸数据添加标注到模型上。

继续访问

Rhino5曲面造型插件Autodesk T-Splines v4.0.r11183_rrjjzzyy00的博客...

Rhino5曲面造型插件Autodesk T-Splines v4.0.r11183 Autodesk T-Splines结合了Nurbs和细分表面建模技术的特点,虽然和Nurbs很相似,不过它极大地减少了模型表 面上的控制点数目,可以进行局部细分和合并两个Nurbs面片等操作,使你的建模操作...

继续访问

Go语言并发模型:像Unix Pipe那样使用channel

简介 Go语言的并发原语允许开发者以类似于 Unix Pipe 的方式构建数据流水线 (data pipelines),数据流水线能够高效地利用 I/O和多核 CPU 的优势。 本文要讲的就是一些使用流水线的一些例子,流水线的错误处理也是本文的重点。 阅读建议 数据流水线充分利用了多核特性,代码层面是基于 channel 类型 和 go ...

继续访问

pipe建模工具使用_PDMS进行管道建模的一些方法及操作技巧,快来Get!

2.通过网络实现多专业实时协同设计、真实的现场环境,多个专业组可以协同设计以建立一个详细的3D数字工厂模型,每个设计者在设计过程中都可以随时查看其它设计者正在干什么;3.交互设计过程中,实时三维碰撞检查,PDMS能自动地在元件和各专业设计之间进行碰撞检查,在整体上保证设计结果的准确性;4.拥有独立的数据库结构,元件和设备信息全部可以存储在参数化的元件库和设备库中,不依赖第三方数据库;5.开放的开发...

继续访问

8款超级好用的3D建模软件上下篇_李旭me的博客_3d建模软件

Rhino,又称犀牛,是由美国Robert McNeel公司于1998年推出的一款基于NURBS为主三维建模软件。功能齐全、价格实惠、对用户友好,很多中小工作室都在使用Rhino来设计产品。 作为近年来在工业、建筑等领域最流行的软件,Rhino的建模思路十分自由,但...

继续访问

浅谈管道模型(Pipeline)

本篇和大家谈谈一种通用的设计与处理模型——Pipeline(管道)。 Pipeline简介 Pipeline模型最早被使用在Unix操作系统中。据称,如果说Unix是计算机文明中最伟大的发明,那么,Unix下的Pipe管道就是跟随Unix所带来的另一个伟大的发明【1】。我认为管道的出现,所要解决的问题,还是软件设计中老生常谈的设计目标——高内聚,低耦合。它以一种“链式模型”来串接不同的程序或者不同...

继续访问

pipe建模工具使用_GraphPipe

软件简介GraphPipe 是甲骨文开源的通用深度学习模型部署框架。官方对 GraphPipe的定义为,这是一种协议和软件集合,旨在简化机器学习模型部署并将其与特定于框架的模型实现分离。甲骨文表示,这一新工具可提供跨深度学习框架的模型通用 API、开箱即用的部署方案以及强大的性能。GraphPipe 为在网络上传递张量数据(tensordata)提供了一个标准、高性能的协议,以及提供了客户端和服务...

继续访问

Select模型(PIPE)

Lin中的函数select和poll用来,支持Unix中I/O复用的功能,在Unix中I/O模型可以分为以一几种: (1)阻塞I/O (2)非阻塞I/O (3)I/O复用(select和poll) (4)信号驱动I/O(SIGIO) (5)异步I/O 其中,现在比较流行的I/O模型是阻塞I/O模型.阻塞I/O是当应用程序和内核交换数据时,由于内核还没有准备

继续访问

深入理解PIPE

转载: 在linux中要进行进程间通信有多种方法:pipe、fifo、共享内存,信号量,消息队列,共享文件等等。其中pipe和fifo 使用最广泛,二者的区别为pipe为匿名管道,只能用在有父子关系的进程间通信,而fifo可以通过文件系统中的一个文件取得,所以不受上述限制。作为父子进程间通信的通道,pipe同样可以看作是一个先进先出的

继续访问

最新发布 HQoS配置学习

传统的QoS基于端口进行流量调度,无法区分用户和用户不同的业务。HQoS可以针对每个用户的业务流进行队列调度。

继续访问

犀牛重建曲面_犀牛建模常用命令及思路分析

犀牛建模常用命令及思路分析对于新手刚接触犀牛建模的软件都是比较懵懂,有许多的细节都不太了解,所以需要许多资料和教程来教新手学会这些技能,从建模到渲染这些步骤,好的技术都是不断操练才有所效果的,一起来看看给新人的犀牛建模常用技巧!首先我们大家要对视图进行认识了解视图一般默认为四个视图(正视图、顶视图、透视图、右视图)也可以根据自己的需求更改添加视图点击视图名称右键里面可以根据自己的需要更改视图的模式...

继续访问

Linux网络编程 - 在服务器端运用进程间通信之管道(pipe)

本文主要讲解进程间通信之一的管道(匿名管道)方式,讨论Linux系统中管道的工作原理及其使用方法,并将管道机制运用在Linux网络编程之中。

继续访问

热门推荐 Linux进程间通信分类 以及 pipe的原理实现

一个大型的应用系统,往往需要众多进程协作,进程(Linux进程概念见附1)间通信的重要性显而易见。本系列文章阐述了Linux环境下的几种

继续访问

Rhino显示左边的工具栏

步骤 顶部菜单“工具” “选项” 左边的“Rhino选项” 展开“工具列” “大小和型式” 勾选“显示边栏” 确定

继续访问

pipe建模工具使用_pipe4.3 petri网软件

【实例简介】petri网建模工具pipe4.3,需要先配置java环境【实例截图】【核心代码】PIPEv4.3.0├── __MACOSX│ └── PIPEv4.3.0└── PIPEv4.3.0├── launch.bat├── launch.sh├── Pipe│ ├── cfg│ │ ├── classification.properties│ │ ├── comp...

继续访问

7分钟学会匿名管道pipe()的使用(内附完整代码测试)

7分钟学会匿名管道pipe()的使用(内附完整代码测试)

继续访问

细分曲面—增加细分曲面对象

NURBS是大部分三维软件支持的一种优秀的建模方式,它能很好的控制物体表面的曲线度,从而创建出更逼真、更生动的造型。NURBS是非均匀有理样条曲线的缩写。 Cinema 4D提供的NURBS建模方式分为细分曲面、挤压、旋转、放样、扫描和贝塞尔6种。 细分曲面 : 挤压 旋转 放样 扫描 贝塞尔 ...

继续访问

Rhino 6 偏移曲面 选项有很多玄机

Rhino 6 偏移曲面 选项 要打开圆角选项 偏移的曲面就是一个整体。 倒角可以选择两面的一面曲线来倒角。

继续访问

linux下面的pipe命令

pipe命令在linux shell中是很重要的概念管道pipe,意思是上一次命令的输出是下一个命令的输入,但是,我们知道,一个命令的输出,是没有固定格式的如ls -l一样,输出的是大段大大段的数据,那么我们怎么把这些数据格式化成为我们下一个命令能用的呢?这就要用linux下面的一些管道命令了;1)cut: cut -d “分隔符” -f "区快" -c "字符界限" 如: cut /et

继续访问

rhino细分工具讲解

pipe建模工具使用

写评论

Go CSP并发模型

Go的CSP并发模型

Go实现了两种并发形式。第一种是大家普遍认知的:多线程共享内存。其实就是Java或者C++等语言中的多线程开发。另外一种是Go语言特有的,也是Go语言推荐的:CSP(communicating sequential processes)并发模型。

CSP 是 Communicating Sequential Process 的简称,中文可以叫做通信顺序进程,是一种并发编程模型,由 Tony Hoare 于 1977 年提出。简单来说,CSP 模型由并发执行的实体(线程或者进程)所组成,实体之间通过发送消息进行通信,这里发送消息时使用的就是通道,或者叫 channel。CSP 模型的关键是关注 channel,而不关注发送消息的实体。 Go 语言实现了 CSP 部分理论 。

“ 不要以共享内存的方式来通信,相反, 要通过通信来共享内存。”

Go的CSP并发模型,是通过 goroutine和channel 来实现的。

goroutine 是Go语言中并发的执行单位。其实就是协程。

channel是Go语言中各个并发结构体(goroutine)之前的通信机制。 通俗的讲,就是各个goroutine之间通信的”管道“,有点类似于Linux中的管道。

Channel

Goroutine

Go语言——goroutine并发模型

参考:

Goroutine并发调度模型深度解析手撸一个协程池

Golang 的 goroutine 是如何实现的?

Golang - 调度剖析【第二部分】

OS线程初始栈为2MB。Go语言中,每个goroutine采用动态扩容方式,初始2KB,按需增长,最大1G。此外GC会收缩栈空间。

BTW,增长扩容都是有代价的,需要copy数据到新的stack,所以初始2KB可能有些性能问题。

更多关于stack的内容,可以参见大佬的文章。 聊一聊goroutine stack

用户线程的调度以及生命周期管理都是用户层面,Go语言自己实现的,不借助OS系统调用,减少系统资源消耗。

Go语言采用两级线程模型,即用户线程与内核线程KSE(kernel scheduling entity)是M:N的。最终goroutine还是会交给OS线程执行,但是需要一个中介,提供上下文。这就是G-M-P模型

Go调度器有两个不同的运行队列:

go1.10\src\runtime\runtime2.go

Go调度器根据事件进行上下文切换。

调度的目的就是防止M堵塞,空闲,系统进程切换。

详见 Golang - 调度剖析【第二部分】

Linux可以通过epoll实现网络调用,统称网络轮询器N(Net Poller)。

文件IO操作

上面都是防止M堵塞,任务窃取是防止M空闲

每个M都有一个特殊的G,g0。用于执行调度,gc,栈管理等任务,所以g0的栈称为调度栈。g0的栈不会自动增长,不会被gc,来自os线程的栈。

go1.10\src\runtime\proc.go

G没办法自己运行,必须通过M运行

M通过通过调度,执行G

从M挂载P的runq中找到G,执行G

golang的线程模型——GMP模型

内核线程(Kernel-Level Thread ,KLT)

轻量级进程(Light Weight Process,LWP):轻量级进程就是我们通常意义上所讲的线程,由于每个轻量级进程都由一个内核线程支持,因此只有先支持内核线程,才能有轻量级进程

用户线程与系统线程一一对应,用户线程执行如lo操作的系统调用时,来回切换操作开销相对比较大

多个用户线程对应一个内核线程,当内核线程对应的一个用户线程被阻塞挂起时候,其他用户线程也阻塞不能执行了。

多对多模型是可以充分利用多核CPU提升运行效能的

go线程模型包含三个概念:内核线程(M),goroutine(G),G的上下文环境(P);

GMP模型是goalng特有的。

P与M一般是一一对应的。P(上下文)管理着一组G(goroutine)挂载在M(内核线程)上运行,图中左边蓝色为正在执行状态的goroutine,右边为待执行状态的goroutiine队列。P的数量由环境变量GOMAXPROCS的值或程序运行runtime.GOMAXPROCS()进行设置。

当一个os线程在执行M1一个G1发生阻塞时,调度器让M1抛弃P,等待G1返回,然后另起一个M2接收P来执行剩下的goroutine队列(G2、G3...),这是golang调度器厉害的地方,可以保证有足够的线程来运行剩下所有的goroutine。

当G1结束后,M1会重新拿回P来完成,如果拿不到就丢到全局runqueue中,然后自己放到线程池或转入休眠状态。空闲的上下文P会周期性的检查全局runqueue上的goroutine,并且执行它。

另一种情况就是当有些P1太闲而其他P2很忙碌的时候,会从其他上下文P2拿一些G来执行。

详细可以翻看下方第一个参考链接,写得真好。

最后用大佬的总结来做最后的收尾————

Go语言运行时,通过核心元素G,M,P 和 自己的调度器,实现了自己的并发线程模型。调度器通过对G,M,P的调度实现了两级线程模型中操作系统内核之外的调度任务。整个调度过程中会在多种时机去触发最核心的步骤 “一整轮调度”,而一整轮调度中最关键的部分在“全力查找可运行G”,它保证了M的高效运行(换句话说就是充分使用了计算机的物理资源),一整轮调度中还会涉及到M的启用停止。最后别忘了,还有一个与Go程序生命周期相同的系统监测任务来进行一些辅助性的工作。

浅析Golang的线程模型与调度器

Golang CSP并发模型

Golang线程模型


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:/Golang/15514.html