【证券日报】金玺泰拟入主三星新材,协同发展光伏玻璃产业|滚动
因筹划控制权变更而停牌的三星新材迎来新进展,3月23日,三星新材发布公告表示,公司控股股东、实际控制人将发生变化,金玺泰有限公司(以下简
在Flink的整个软件架构体系中,同样遵循这分层的架构设计理念,在降低系统耦合度的同时,也为上层用户构建Flink应用提供了丰富且友好的接口。
上图是Flink基本组件栈,从上图可以看出整个Flink的架构体系可以分为三层,从下往上依次是物理部署层、Runtime 核心层、API&Libraries层。
【资料图】
物理部署层:该层主要涉及Flink的部署模式,目前Flink支持多种部署模式:本地Local、集群(Standalone/Yarn)、Kubernetes,Flink能够通过该层支撑不同平台的部署,用户可以根据需要来选择对应的部署模式,目前在企业中使用最多的是基于Yarn进行部署,也就是Flink On Yarn。
Runtime核心层:该层主要负责对上层不同接口提供基础服务,也是Flink分布式计算框架的核心实现层,支持分布式Stream作业的执行、JobGraph到ExecutionGraph的映射转换、任务调度等,将DataStream和DataSet转成统一可执行的Task Oparator,达到在流式引擎下同时处理批量计算和流式计算的目的。
API & Libraries层:作为分布式计算框架,Flink同时提供了支撑流计算和批计算接口,未来批计算接口会被弃用,在Flink1.15 版本中批计算接口已经标记为Legacy(已过时),后续版本建议使用Flink流计算接口,基于此接口之上抽象出不同应用类型的组件库,例如:FlinkML 机器学习库、FlinkCEP 复杂事件处理库、Flink Gelly 图处理库、SQL&Table 库。DataSet API 和DataStream API 两者都提供给用户丰富的数据处理高级API,例如:Map、FlatMap操作等,同时也提供了比较底层的ProcessFunction API ,用户可以直接操作状态和时间等底层数据。这些API将在后面进行介绍。
Flink整个系统主要由两个组件组成,分别为JobManager和TaskManager,Flink架构也遵循Master-Slave架构设计原则,JobManager为Master节点,TaskManager为Worker(Slave)节点。所有组件之间的通信都是借助于Akka Framework,包括任务的状态以及Checkpoint触发等信息。
Flink运行时架构如下,下面分别介绍下架构中涉及到的角色作用。
Flink Clients客户端Flink客户端负责将任务提交到集群,与JobManager构建Akka连接,然后将任务提交到JobManager,通过和JobManager之间进行交互获取任务执行状态。Flink客户端Clients不是Flink程序运行时的一部分,作用是向JobManager准备和发送dataflow,之后,客户端可以断开(detached mode)连接或者保持连接(attached mode)。客户端提交任务可以采用CLI方式或者通过使用Flink WebUI提交,也可以在应用程序中指定JobManager的RPC网络端口构建ExecutionEnvironment提交Flink应用。
JobManagerJobManager负责整个Flink集群任务的调度以及资源的管理,从客户端中获取提交的应用,然后根据集群中TaskManager上TaskSlot的使用情况,为提交的应用分配相应的TaskSlots资源并命令TaskManger启动从客户端中获取的应用。
JobManager相当于整个集群的Master节点,Flink HA 集群中可以有多个JobManager,但整个集群中有且仅有一个活跃的JobManager,其他的都是StandBy。JobManager和TaskManager之间通过Actor System进行通信,获取任务执行的情况并通过Actor System将应用的任务执行情况发送给客户端。同时在任务执行过程中,Flink JobManager会触发Checkpoints操作,每个TaskManager节点收到Checkpoint触发指令后,完成Checkpoint操作,所有的Checkpoint协调过程都是在Flink JobManager中完成。当任务完成后,Flink会将任务执行的信息反馈给客户端,并且释放掉TaskManager中的资源以供下一次提交任务使用。
JobManager由三个不同的组件组成:
ResourceManager:这里说的ResourceManager不是Yarn资源管理中的ResourceManager,而是Flink中的ResourceManager,其主要负责Flink集群资源分配、管理和回收。在Flink中这里说的资源主要是TaskManager节点上的Task Slot计算资源,Flink中每个提交的任务最终会转换成task,每个task需要发送到TaskManager 上的slot中执行(slot是资源调度最小的单位),Flink为不同的环境和资源提供者(例如:Yarn/Kubernetes和Standalone)实现了对应的ResourceManager,这些ResourceManager负责申请启动TaskManager获取Slot资源。
在Standalone集群中,集群启动会同时启动TaskManager,不支持提交任务时启动TaskManager(没有Per-Job任务提交模式),ResourceManager只能分配可用TaskManager的slots,而不支持自行启动新的TaskManager,而基于其他资源调度框架执行任务时,当ResourceManager管理对应的TaskManager没有足够的slot,会申请启动新的TaskManager进程。
DispatcherDispatcher提供了一个REST接口,用来提交Flink应用程序执行,例如CLI客户端或Flink Web UI提交的任务最终都会发送至Dispatcher组件,由Dispatcher组件对JobGraph进行分发和执行,并为每个提交的作业启动一个新的 JobMaster,它还运行 Flink WebUI 用来提供作业执行信息。
JobMasterJobMaster负责管理整个任务的生命周期,负责将Dispatcher提交上来的JobGraph转换成ExecutionGraph(执行图)结构,通过内部调度程序对ExecutionGraph执行图进行调度和执行,最终向TaskManager中提交和运行Task实例,同时监控各个Task的运行状况,直到整个作业中所有的Task都执行完毕。
JobManager和ResourceManager组件一样,JobManager组件本身也是RPC服务,具备通信能力,可以与ResourceManager进行RPC通信申请任务的计算资源,资源申请到位后,就会将对应Task任务发送到TaskManager上执行,当Flink Task任务执行完毕后,JobMaster服务会关闭,同时释放任务占用的计算资源。所以JobMaster与对应的Flink job是一一对应的。
TaskManagerTaskManager负责向整个集群提供Slot计算资源,同时管理了JobMaster提交的Task任务。TaskManager会提供JobManager从ResourceManager中申请和分配的Slot计算资源,JobMaster最终会根据分配到的Slot计算资源将Task提交到TaskManager上运行。另外,TaskManager还可缓存数据,TaskManager之间可以进行DataStream数据的交换。
一个Flink集群中至少有一个TaskManager,在TaskManager中资源调度的最小单位是 task slot ,一个TaskManger中的task Slot个数决定了当前TaskManger最高支持的并发task个数,一个task Slot中可以执行多个算子。
可以看出,Flink的任务运行其实是采用多线程的方式,这和MapReduce多JVM进程的方式有很大的区别Fink能够极大提高CPU使用效率,在多个任务和Task之间通过TaskSlot方式共享系统资源,每个TaskManager中通过管理多个TaskSlot资源池进行对资源进行有效管理。
关键词:
因筹划控制权变更而停牌的三星新材迎来新进展,3月23日,三星新材发布公告表示,公司控股股东、实际控制人将发生变化,金玺泰有限公司(以下简
1、拉托斯洛克酒店位于毛里求斯。2、是家5星级酒店。本文到此分享完毕,希望对大家有所帮助。
对于酒店行业来讲,想要持续高质量的发展,必须实时保持“以客户需求为中心”,将创新作为发展的源动力,唯有此,才能在市场中积极应对各种变化,进
以下是力诺特玻在北京时间3月27日10:19分盘口异动快照:3月27日,力诺特玻盘中快速反弹,5分钟内涨幅超过2%,截至10点19分,报18 1元,成交242
网友曝光!长春市仓鼠进口商品折扣店经销恶意篡改生产日期食品!
阅读是很多人在生活里最爱的事件之一,欢迎走进本网站,今日小编讲给大家带来虱子产生的原因头上长虱子怎么办的相关消息,感兴趣
1、出轨是形容一个人身体出轨的代名词,脚踏两条船甚至更多船。2、出轨的原因主要是环境和人性。不同的工作环境会让不同的人与
冯柳第二只重仓股出炉!斩获3亿浮盈,这一板块将进入2~3年向上周期,冯柳,加仓,重仓股,顺鑫农业,白酒公司
1、鸡蛋壳有黑色斑点不建议吃。2、鸡蛋壳上出现黑色斑点是不建议吃的,因为鸡蛋上出现斑点可能是因为鸡蛋已经变质,或者是发霉,与鸡蛋长时间
IT之家3月25日消息,随着AI人工智能技术的大热,美国牛仔裤品牌李维斯Levi & 039;s宣布,将使用AI模特来进行服装展示。李维斯将此举视为多元化、公
3月26日电,中国太保披露年报,公司2022年实现营业收入4553 72亿元,同比增长3 3%;净利润246 09亿元,
2021开斋节放假几天2021开斋节放假2天,开斋节5月13日至14日放假。伊斯兰教法规定:全体穆斯林,除病人、孕妇、喂奶的妇女、幼儿以及在日出前
1、不论平地与山尖,无限风光尽被占。2、采得百花成蜜后,为谁辛苦为谁甜。3、出处:(唐)罗隐《蜂》译文:无论在平原还是在
周四(3月23日)召开的鹤壁市人民代表大会上,一个年轻的身影出现在会堂,这位1997年的市人大代表希望通过此次会议探索学
聚焦长春市消费复苏|这有山、这有人、这有浓浓“烟火气”,李洋,餐饮,文旅,长春市,商业体,消费复苏,重点商圈
岩雀又小麻雀、塔莉垭,岩雀·塔莉垭是游戏《英雄联盟》中的第131位英雄角色。塔莉垭相比部落中的其它孩子,总是显得有些与众不同,这只恕瑞玛
什么是泥炭: 经过数千年堆积分解而形成的特殊有机物,富含多种矿物质,属纯天然的有机肥。 比如在四川省阿坝州若尔盖国家湿地公园,有
1、最快捷的方法1同时按住Ctrl和H这两个键,“历史记录”就会跳出来。2、2很简单吧?如果记不住这两个键,请看下面的方
院士专家重庆研讨智能建造产业创新发展---中新社重庆3月25日电2023中国(重庆)国际智能建造产业创新大会25日在重庆市涪陵区召开。业界专家齐聚
1、燕麦:燕麦含有丰富的水溶性膳食纤维,能够刺激肠胃蠕动,大量吸收人体内的胆固醇并排出体外。吃燕麦还能减少饥饿感,见效控制热量的摄取,
关于云南省拟参评第33届中国新闻奖(专项)作品的公示公告根据《中国新闻奖评选办法》的要求,现对云南省拟推荐参评第33届中
前不久Realme官宣了新机真我GTNeo5SE,虽然有SE的字眼,但这次Realme在海报上面特意标明了“可能是史上最不SE的SE”,随着
1、一价钾钠氟氢银,二价氧钙钡镁锌 铝显正三氧负二,以上价态要记真 铜一二来铁二三,碳硅二四要记全 硫显负二正四六,负三
Invicta是一家超过100年历史的钟表公司,INVICTA这个牌子是瑞士的手表品牌,中层收入的消费人群比较喜欢。来自于瑞士的Invicta历史可以追溯到18
今年10月28日,企业QQ和营销QQ停止续费;明年1月31日,企业QQ和营销QQ的服务和运营将全面停止,届时用户将无法登