请告诉我如何从 Google Storage (CSV) 文件读取到 Cloud Data Store。
我已经通过 App Engine 完成了 Java 代码，并且可以在调用时加载一行。同样，我想获得一些示例代码以一次性将批量（从 CSV 读取）加载到数据存储中。
问问题
1129 次
1 回答
0
请告诉我如何从 Google Storage (CSV) 文件读取到 Cloud Data Store。
您可以使用两种不同的解决方法从 Google Cloud Storage 读取数据并将其加载到您的 Cloud Datastore 项目中。
使用 Apache Beam
正如在这篇类似的文章中提到的，您可以使用 Apache Beam 来使用TextIO该类读取 CSV 文件。
接下来，您将需要应用一个转换来解析 CSV 文件中的每一行并返回一个Entity对象。
在这篇文章中，您将找到一个如何Entity基于 CSV 文件构造对象的示例。
最后，将实体对象写入 Cloud Datastore。
使用数据流
您可以使用数据流。Google 提供了一组开源数据流模板，您可以使用这些模板来实现您正在寻找的内容。
就模板而言，您可以使用Cloud Storage Text to Datastore。
Cloud Storage 文本到数据存储模板是一个批处理管道，它从存储在 Cloud Storage 中的文本文件中读取数据，并将 JSON 编码的实体写入数据存储。输入文本文件中的每一行都应采用https://cloud.google.com/datastore/docs/reference/rest/v1/Entity中指定的 JSON 格式。
我强烈建议使用第一个选项，因为它看起来不错并且已获得批准。
如果它不起作用，您可以随时尝试使用 Dataflow 模板从 Google Cloud Storage 读取到 Cloud Datastore。
我希望它有所帮助。
于 2019-12-30T15:35:00.227 回答