问题标签 [foundry-data-connection]

最近，数据连接摄取运行了 6 小时（与 30 分钟的典型摄取时间相比）没有取得任何进展。这导致源数据库服务器停止运行，因此我们需要终止摄取进程。

如果运行时间过长，有没有办法自动中止摄取，这样如果这个作业再次挂起，它就不会导致同样的问题？

作为单个同步的一部分，如何使用数据连接从大量 URL 列表中下载文件？

我希望能够并行执行此操作，因为我每天将下载 1–2,000 个新文件。我还希望所有文件都存储在一个数据集中。

我正在寻找.csv在 Foundry 中摄取 AES 加密文件的最佳方式。完成这项任务的最快方法是什么？

数据连接代理是否可以连接到 NFS 以传输数据？

我正在寻找使用数据连接从只有一个标题的源文件中创建一个数据集。也就是说，我希望同步的数据集有一个架构但 0 行。创建的自动模式不会将文件中提供的唯一行视为标题。尝试编辑架构时遇到以下错误。是否有解决方法可以保存仅包含标题的空数据集？

如何使用没有 my_compute_function 的数据集。从存储库中的 file1，我想调用另一个文件中定义的函数。在第二个文件中，我想利用数据集 my_input_integration，可能没有 my_compute_function。如何组合来自两个不同存储库文件的数据集。我不想合并到一个文件中，因为我想将第二个文件用作实用程序文件。如果有人能回答这个问题，那就太好了。

存储库文件 1

存储库文件 2

如果我有一个设置为追加的 Magritte 摄取，它会检测是否在源数据中删除了行？它还会删除摄取数据集中的行吗？

参考 YAML 配置部分下方的计划时间，即每 8 小时创建一次批量同步，每小时 12 分钟，但不会生成计划时间。使用默认的批量同步配置也会产生相同的结果，即不会创建计划。这是配置问题还是由于批量同步是实验性的？

使用 YAML 配置创建批量同步时如何添加计划？

如何通过 Foundry API 调用获取完整的数据集记录？我想在 Foundry 之外的另一个 Python 应用程序中使用数据集，并且requests只使用前 300 行记录。我拥有的requestsAPI 端点正在使用 Contour dataset-preview。

我在铸造厂有两个数据集：df1 和 df2，df1 有带有模式的数据。

df2 是没有应用架构的空数据框。

使用数据代理我能够从 df1 中提取模式

如何通过休息调用将此模式应用于空数据帧 df2？

下面的铸造示例展示了如何提交一个空事务，这个例子没有展示如何应用模式