面向Hadoop的、新的数据处理和管理平台：Apache Falcon

Apache Falcon 是一个面向Hadoop的、新的数据处理和管理平台，设计用于数据移动、数据管道协调、生命周期管理和数据发现。它使终端用户可以快速地将他们的数据及其相关的处理和管理任务“上载（onboard）”到Hadoop集群。

Apache Falcon解决了大数据领域中一个非常重要和关键的问题。升级为顶级项目是该项目的一个重大进展。Apache Falcon有一个完善的路线图，可以减少应用程序开发和管理人员编写和管理复杂数据管理和处理应用程序的痛苦。

用户会发现，在Apache Falcon中，“基础设施端点（infrastructure endpoint）”、数据集（也称 Feed ）、处理规则均是声明式的。这种声明式配置显式定义了实体之间的依赖关系。这也是该平台的一个特点，它本身只维护依赖关系，而并不做任何繁重的工作。所有的功能和工作流状态管理需求都委托给工作流调度程序来完成。下面是Falcon的架构图：

从上图可以看出，Apache Falcon：

• 在Hadoop环境中各种数据和“处理元素（processing element）”之间建立了联系；
• 可以与Hive/HCatalog集成；
• 根据可用的Feed组向最终用户发送通知。

而按照开发人员Michael Miklavcic的说法，Apache Falcon使他们的团队逐步构建起一个复杂的管道。该管道包含超过90个 Process 和200个Feed。如果单独使用Apache Oozie，这会是一项重大挑战。Hortonworks工程部门副总裁Greg Pavlik则表示，Apache Falcon是用于“数据湖（Data lake）”建模、管理和操作的最好的、最成熟的构建模块。Hortonworks官方网站上提供了一个 在Hadoop中使用Apache Falcon的示例 。