问题标签 [talend]

我想从 mysql DB 中提取数据并将其加载到另一个 mysql DB，而无需在此过程中关闭 mysql。

尝试使用开源 Talend 社区版。使用了 mysql 输入组件，填写了经过测试可以工作的连接详细信息。

组件无法连接到 mysql 并得到错误：

虽然我将 jar 添加到 eclipse 项目中：mysql-connector-java-5.0.8.jar

面对 Talend Admin Console 中的一些问题，从 IDE 运行的作业未在 Admin Console 中运行。资源未在 Admin Console 中更新。

以下是我现在面临的问题。

1) 我编辑了一个 Talend 用户组件，当我从 Talend IDE 运行时能够看到它的变化。但是当我通过 Admin Console 运行时，并没有反映这种变化。

2) 我为该工作创建了一个新的例程，当我从 talend IDE 运行该工作时，它的工作。但我在管理控制台中收到 ClassNotFound 错误。

讨论相同的链接：http ://www.talendforge.org/forum/viewtopic.php?id=10103

提前致谢。

我有一个按星型模式组织的工作 MySQL 数据仓库，我正在使用 Talend Open Studio for Data Integration 5.1 创建 ETL 流程。我希望这个过程每天运行一次。我估计其中一个维度表 (dimUser) 将有大约 200 万条记录和 23 列。

我在 Talend 中创建了一个可以运行的小型测试 ETL 流程，但考虑到每天可能需要更新的数据量，当前的性能不会降低它。ETL 过程需要四分钟来更新或插入 1,000 条记录到 dimUser。如果我假设记录数与 UPDATE 或 INSERT 的时间量之间存在线性关系，那么 ETL 不可能在 3-4 小时内完成（我的希望），更不用说一天了。

由于我不熟悉 Java，我将 ETL 编写为 Python 脚本并遇到了同样的问题。虽然，我确实发现如果我只做 INSERT，这个过程会快得多。我很确定瓶颈是由 UPDATE 语句引起的。

dimUser 中的主键是一个自增整数。我的朋友建议我废弃这个主键并将其替换为多字段主键（在我的情况下，2-3 个字段）。

在我将测试数据从仓库中取出并更改架构之前，任何人都可以提供与

1. 数据仓库的设计
2. ETL过程
3. 每天有一个 ETL 过程 INSERT 或 UPDATE 几百万条记录是多么现实
4. 我朋友的建议会有很大帮助吗

如果您需要任何进一步的信息，请告诉我，我会发布。

更新 - 附加信息：

我使用代理键是因为我读过它是一种很好的做法。因为，从业务的角度来看，我想了解潜在的欺诈活动（比如 200 天用户与状态 X 相关联，然后第二天他们与状态 Y 相关联 - 他们可能已经移动或者他们的帐户可能已经妥协），这就是保留地理数据的原因。字段 id_B 可能有几个不同的 id_A 值与之关联，但我有兴趣了解不同的 (id_A, id_B) 元组。在此信息的上下文中，我的朋友建议将 (id_A, id_B, zip_code) 之类的东西作为主键。

对于大多数日常 ETL 流程 (>80%)，我只希望为现有记录更新以下字段：field_10 - field_14、last_update 和 run_id（此字段是我的 etlLog 表的外键，用于ETL 审计目的）。

如何将第三方库（jar 文件）添加到 Talend 项目？

还有一个问题是，每个 Talend 都component使用LogFactory，但在我的情况下，它正在抛出

有了tSetGlobalVar组件，我如何利用现有的日志库来摆脱这个异常？

我正在尝试使用 Talend 按纬度和经度获取天气数据。我正在检索所有适用的纬度和经度值，然后我需要遍历这些值并创建包含纬度和经度的 URL。我试图使用 tFileFetch 来检索响应，但我看不到任何方法来传递纬度和经度的变量。有谁知道我应该使用其他组件吗？

谢谢

我有将 live 迁移SQL server 2008到的要求MySQL server 5，我尝试了 MySQL 迁移工具包，但它引发了很多迁移错误。Stackoverflow 中的某个人建议我使用Talend. 我安装Talend Open Studio for Data Integration了它，但它是一个非常通用的工具，没有像我真正需要的那样进行数据库迁移的快速入门。

在哪里可以找到使用 Talend 完成此类工作的快速入门指南？

对于以下语句，我在 talend ETL 工具中收到 NumberFormatException：

错误详情：

这实际上是一个简单的代码，在我的测试 java 程序中运行没有任何问题。

实际上是从位置文件中获取这个值，该值可以是 +0002 或 -0002 （一些以符号为前缀的有效数字）。有一件事是确定输入中不会有任何小数。

提前致谢。

我正在尝试使用 Talend 输入 XML 文档，但出现无法解析的日期错误。我尝试了几种不同的格式，但无法使其正常工作。

这是 2012-07-03T00:00:00.000-04:00 出错的一行 XML

这是我尝试过的一种格式。“yyyy-mm-dd'T'hh:mm:ss.SSSZ”

任何帮助，将不胜感激。

谢谢，玛西

是否有任何 Talend 组件来创建 ANSI X12 edi 文件？我需要处理以下 EDI 事务集：

EDI 必须使用 AS2 标准来回发送。

由于我是 EDI 新手，甚至不知道如何使用 AS2 格式发送 EDI。

提前致谢。

更新于 2012 年 9 月 3 日。

我找到了 X12 解析器，它似乎正在工作。我能够解析 856 EDI 事务集。我还没有尝试其他格式。

以下是链接：

http://x12-parser.googlecode.com/svn/trunk/

如果有人对 X12 解析器有任何宝贵的意见或建议，请在此处发布。

谢谢

我正在使用 Talend 使用 EBCDIC 文件的 Cobol 副本书表示来转换 EBCDIC 文件。但我无法找出 EBCDIC 字符的半角和全角表示

请建议。