0

我在 S3 存储桶的目录中有 CSV 文件。我想将所有文件用作 Dremio 中的单个表，我认为只要每个文件具有与其他文件相同的标题/列，这是可能的。

我是否需要先使用 UI 添加一个Amazon S3 数据源，还是可以使用Catalog API以某种方式添加一个作为源？（我更喜欢后者。）REST API 文档没有提供如何做到这一点的明确示例（或者我只是没有得到它）​​，而且我一直无法找到如何获得“新亚马逊S3 Source”配置屏幕，如文档中所示，可能是因为我没有以管理员身份登录？

例如，假设我有一个数据集拆分为 S3 存储桶中的两个 CSV 文件，该存储桶位于名为examplebucket的目录中datadir：

s3://examplebucket/datadir/part_0.csv
s3://examplebucket/datadir/part_1.csv

我是否以某种方式将 S3 存储桶/路径设置s3://examplebucket/datadir为数据源，然后将其中包含的每个文件（part_0.csv和part_1.csv）提升为数据集？这足以允许所有文件用作单个表吗？

4

1 回答 1

1

事实证明，这仅适用于管理员用户，普通用户无法添加源。要执行我上面建议的操作，请将文件放入已由管理员用户配置为 Dremio 源的 S3 存储桶中。然后使用Dremio 目录 API将文件或文件夹提升为数据源。

于 2020-11-15T15:31:05.287 回答