Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
我想执行包含 3 个转换的工作:
首先我读了一个 XML 文件;在第二个中,我得到了该文件的内容(所有字段);最后,我将数据保存在 CSV 文件中。
如何在不丢失数据的情况下从第一个转换到第二个转换,然后在从 XML 步骤获取数据中使用它?
只要所有数据都适合内存,您就可以将转换的结果集与Copy rows to result步骤一起存储在包含作业中。然后在随后的转换中,您可以使用Get rows from result.
Copy rows to result
Get rows from result
他们所指的“结果”只是存储在作业中的一个大缓冲区,因此该作业包含的任何转换都可以使用它。它类似于记录作业触及的所有文件的文件“结果”。
如果您的数据集太大而无法保存在内存中,则需要将数据暂存到某个地方。要么在数据库表中,要么在某处的文件中。您可能会考虑使用该Serialize to file步骤。
Serialize to file