-1

我正在使用 CloverETL Designer 进行 ETL 操作,并且我想将一些 csv 文件从 GCS 加载到我的 Clover 图中。我使用了 FlatFileReader 并尝试使用远程文件 URL 获取文件,但它不起作用。有人可以在这里详细说明整个过程吗?

GCS中文件的路径是

https://storage.cloud.google.com/PATH/Write_to_a_file.csv

我需要将此 csv 文件放入 CloverETL Designer 中的 FlatFileReader

4

2 回答 2

2

您应该使用Google Cloud Storage API来获取文件;Clover 的HTTPConnector组件将允许您传递适当的参数以发出 GET 请求(您可能必须先进行 OAuth2 身份验证才能获取令牌),并将输出发送到“输出文件 URL”中指定的本地目的地。然后您可以使用 aFlatFileReader从该本地文件中读取。

于 2017-08-15T20:23:49.060 回答
0

GCS 有几种不同的方式从您的存储桶下载文件。您可以使用控制台和 Cloud Storage 浏览器。步骤:打开存储浏览器,导航到要下载的对象,右键单击,然后保存到您选择的本地文件夹。如果您使用 Chrome,则保存显示为“将链接另存为...”。

要使用 GS 实用程序,请使用以下命令:

`gsutil cp gs://[BucketName]/[ObjectName] [ObjectDestination]`.

或者,您可以使用客户端库或 REST API 下载文件。使用这些最后的选项,您可以处理多个文件或创建一个作业来下载它们。一旦它们位于 Clover ETL 已知的位置,该过程就很简单了。

在 Clover 设计器中,在导航窗格下,您可以右键单击文件夹并选择导入。选择您放置 GCS 文件的文件。导入文件后,您可以像使用 Clover 中的任何其他数据文件一样使用其中的数据。由于这是一个 .csv 文件,请记住编辑您的元数据(右键单击组件,选择提取元数据,然后在元数据编辑器中进行编辑——用于数据类型、标签等。)将元数据分配给组件的边缘,以便他们知道那一步的进出。根据您的文件,此过程可能会重复多次。

即使使用 ETL 工具,获取正确的数据和数据类型也可能很棘手。如果您对如何在 ETL 项目中配置数据类型或边缘有疑问,wiki 可能会有所帮助。网络上有额外的资源可以帮助您获得您正在寻找的最终分析。

于 2017-12-03T07:08:35.973 回答