问题标签 [foundry-data-connection]

有没有人将他们的 QuickBooks 实例与 Foundry 连接？我有点不清楚如何在 QuickBooks 上设置东西，然后在 Foundry 端（使用 Rest Source）来获取数据。任何帮助表示赞赏！

我希望从使用记录偏移系统的 REST API 中提取数据。我需要对返回的 ( current_offset + item_count) 数据执行基本算术以计算下一个偏移量。

不幸的是，这个 API 使用可变的页面大小，所以简单的偏移量不起作用。它也不返回要在响应中使用的下一个偏移量，只返回组件值。

然而，似乎没有办法做我能看到的基本算术。我只是想念它吗？

我正在使用各种 Magritte 导出任务将 Foundry 数据集中的数据以parquet格式导出到 ABFS 系统（但 SFTP、S3、HDFS 和其他基于文件的导出也会出现同样的问题）。

我要导出的数据集相对较小，小于 512 MB，这意味着它们实际上不需要拆分到多个 parquet 文件中，将所有数据放在一个文件中就足够了。我通过以 a 结束之前的转换来完成此操作，以.coalesce(1)将所有数据放在一个文件中。

问题是：

• 默认情况下，文件名是part-0000-<rid>.snappy.parquet，每个版本都有不同的删除。这意味着，无论何时上传新文件，它都会与其他文件出现在同一个文件夹中，判断哪个是最新版本的唯一方法是最后修改日期。
• 每个版本的数据都存储在我的外部系统中，这会占用不必要的存储空间，除非我经常进入并删除旧文件。

所有这些都是不必要的复杂性被添加到我的下游系统中，我只想能够在一个步骤中提取最新版本的数据。

我是铸造厂的新手，我正在尝试建立与 SharePoint 列表的数据连接。我知道 SharePoint 支持 REST API，但这只是我所知道的范围。Foundry Data 连接文档没有我希望的那么有用。我该怎么办？谢谢！

我认为是这样的：

我想将列表中的所有项目拉入数据集，然后在添加新项目时让铸造厂抓住它并将其放入数据集中。我希望这是您正在寻找的澄清。

我有一堆从我的原始系统同步的文本文件，我想要一种简单的方法来在 Foundry 转换中使用下游的文件名（除了文件的内容）。

我知道这可以使用原始文件访问，但这似乎很复杂，我只想要数据旁边的文件名。

我想确保我可以连接到支持 JDBC 的源，但我想确保我的防火墙规则设置正确以允许这样做。如何确保我的网络基础设施正确设置以进行连接？

我正在尝试实现一个非常简单的单个 get 调用，并且响应返回一些带有一堆由换行符分隔的 id 的文本（如单个 column csv）。我想将每一个保存为数据集中的一行。

我知道通常 Rest 连接器将每个响应保存为avro文件中的新行，这对于 json 响应非常有效，然后可以在代码中进行解析。

但是在我的情况下，我需要它来将响应保存在一个txt或csv文件中，然后我可以应用一个模式，将每个 id 放在自己的行中。我怎样才能做到这一点？