我正在使用 Pentaho 数据集成工具进行数据库迁移
Pentaho data integration
version: 7.0
Build date: Nov 5 2016
我已将
最多 25mb 的数据从 ms sql server 迁移到 mysql。
我只是想知道我可以使用 Pentaho 迁移的最大值是多少。
当我将内存超出界限错误时
问问题
1159 次
1 回答
4
PDI 使用流式模型，其中新记录仅在后续步骤的缓冲区允许时输入，因此对于大多数操作没有限制。我定期传输许多 GB 的数据而没有问题。
有一些步骤在逻辑上需要将所有行读入内存，但是您正在执行比迁移更高级的转换。
在一次运行中进行非常大的传输时可能会遇到的一件事是空闲超时。例如，如果目标 MySQL 因写入而过载，PDI 可能会在从 MS SQL 请求接下来的 10,000 行之前等待很长时间，并且 MS SQL 或中间的防火墙会重置连接。您可以通过先写入临时文件（非常快）然后使用批量加载器步骤从文件加载到 MySQL 来解决此问题。
于 2017-03-15T10:50:19.660 回答