不多说，直接上干货！

 

 

 

　　Apache Beam是一个开源的数据处理编程库，由Google贡献给Apache的项目，前不久刚刚成为Apache TLP项目。它提供了一个高级的、统一的编程模型，允许我们通过构建Pipeline的方式实现批量、流数据处理，并且构建好的Pipeline能够运行在底层不同的执行引擎上。刚刚接触该开源项目时，我的第一感觉就是：在编程API的设计上，数据集及其操作的抽象有点类似Apache Crunch（MapReduce Pipeline编程库）项目；而在支持统一数据处理模型上，能够让人想到Apache Flink项目。如果深入了解Apache Beam，你会发现未来Apache Beam很可能成为数据处理领域唯一一个能够将不同的数据应用统一起来的编程库。

 

 

 

 

 

 

Apache Beam架构概览

　　Apache Beam目前最新版本为2.1.1-SNAPSHOT，最新的Release版本为2.0.0，很多特性还在开发中。

 

 

 

　　在网上找到一个由Andrew Psaltis在2016年6月份演讲的《Apache Beam: The Case for Unifying Streaming API’s》，引用了其中一个Apache Beam的架构图，如下图所示：　　　　

 

 

上图中，我们可以看到，Apache Beam核心的主要有两层：

Pipeline构建层

　　在Pipeline构建层，针对不同的编程语言，构建一组用于定义Pipeline相关抽象，提供编程API，这一层被称为Beam SDKs。最终的用户（具有不同编程语言技能的人员）可以基于这些抽象的Beam SDK来构建数据处理Pipeline。

Runner适配层

　　Runner适配层，主要是用来对接底层的计算引擎，用来执行上层用户开发好的Pipeline程序。

 

查看原文