google-cloud-data-fusion - 数据融合：GCS 创建创建文件夹而不是对象

Question

我正在尝试使用 Data Fusion 的 GCS 创建插件创建一个 GCS 对象（文件）。

但它正在创建一个文件夹。

如何创建文件而不是文件夹？

Answer 1

似乎对插件的描述导致了误解。Cloud Storage 不像传统的文件系统那样工作，因此您不能“严格”创建空文件。gsutil 命令没有与命令等效的touch命令（在 Linux 上），并且此产品中的所有“基本”操作都仅限于cp命令（上传和下载文件）。

因此，由于指定存储 url 时没有文件，因此预计将创建一个文件夹而不是文件。

基于此，我想建议您两种解决方法：

1. 如果您使用此插件将文件创建为“标志”，您可以继续使用该插件，因为创建的文件夹也用作标志（例如，触发云功能）

2. 如果您需要创建文件，您可以使用位于“Sink”插件组中的 GCS 插件创建文件，以将记录写入 Google Cloud Storage 目录中的一个或多个文件。文件可以写成各种格式，例如 csv、avro、parquet 和 json。