我对 Talend 提供的不同产品感到困惑。
看起来Talend Open Studio for Data Integration
和Talend Open Studio for Big Data
是相同的产品,但默认安装了不同的组件。那正确吗?如果我使用 Talend Open Studio 进行数据集成并从 Talend Exchange 下载我需要的组件(例如用于 Google BigQuery),它实际上是同一个产品吗?
我对 Talend 提供的不同产品感到困惑。
看起来Talend Open Studio for Data Integration
和Talend Open Studio for Big Data
是相同的产品,但默认安装了不同的组件。那正确吗?如果我使用 Talend Open Studio 进行数据集成并从 Talend Exchange 下载我需要的组件(例如用于 Google BigQuery),它实际上是同一个产品吗?
除了不同的连接器之外,它们在一个关键点上有所不同,即它们生成的代码库。
Talend Open Studio for Data Integration 生成 Java 代码,而 Talend Open Studio for Big Data 可以生成 map reduce 代码以及 Java 代码。
请在此处查看 Talend 的大数据产品示例,展示如何生成 map reduce 代码作业。
这不仅仅是关于组件:
来自:http ://www.talend.com/products/data-integration
功能:Job Designer、Job Designer、450 多个连接器、版本控制
来自:http ://www.talend.com/products/big-data
功能:作业设计器、HDFS 组件、HBase、HCatalog、Hive、Pig、Sqoop、Hadoop 作业调度程序、NoSQL 支持
我不确定,但我认为在 Talend 的交换网站上找不到官方组件。在那里你只会找到社区贡献的组件。
在 Talend Open Studio for Data Integration 中,您可以创建标准作业(意味着您可以直接使用 DI 组件并在后端生成 java 代码)。
但是 Talend Open Studio for Big Data 您可以选择创建 map/reduce 作业(意味着将在背面生成 map/reduce 代码 [实际上是 java map/reduce] 代码)。在 map/reduce 作业中,所有组件都在 talend 服务器中运行 map 和 reduce 任务。就像在 tmap 组件中一样,当组件执行时,您可以在组件下方看到 map 和 reduce 任务栏。
Talend 针对不同的需求提供不同的 Open Studio 产品。
Talend OS for Data Integration - 满足数据集成/ETL 要求。这不会有大数据特定的组件。
Talend OS for Big Data - 满足大数据需求。您可以连接到 Hadoop、Hive 和其他大数据组件。除了生成 Java 代码之外,它还可以生成 map reduce 代码。
您还拥有适用于 ESB、MDM 和数据质量的 Talend OS,可满足不同的要求。
Talend 不区分连接器。Spark 是 TOS 和许可版本之间的区别。
Open Studio 不支持 Spark 批处理和实时。