sql-server - RevoScaleR 中的 rxImport 潜在问题

Question

我有一个到我的 SQLServer 上的表的 SQL 连接，我使用以下行导入了该表：

master_table <- RxSqlServerData(etc...)

然后，我的目标是使用 rxImport 保存/导入此表并将其保存到我调用的 .xdf 文件中readTest <- 'read_test.xdf

表很大，所以我在我的 rxImport 中设置了这个：

rxImport(master_table, outFile=readTest, rowsPerRead=100000,reportProgress=1)

但是，它现在已经运行了 10 分钟，并且没有在屏幕上打印正在读取/导入的行的进度。我做对了吗？我想输出类似 RxForest 或类似的 ML 算法运行时打印的“进度”？

谢谢。

Answer 1

可能是您的 SQL Server 数据库的连接速度相对较慢，报告进度仅在一批行完成时才会显示进度。如果行相对较大，您可能会在很长一段时间内看到终端上没有返回任何内容。

为了使用 rxImport() 获得最佳性能，请确保 rowsPerRead 是本地机器内存可以处理的最大可能大小。这将使进度报告的频率降低，但是，它会给您更快的导入时间。唯一不正确的情况是在导入 XDF 文件时。