java - 如何从 Google Cloud Storage 读取大文件 (~300 MB)？

Question

我可以轻松upload/write地Read从Google Cloud Storage

现在，我必须在提供大文件（~200MB-300MB）时执行更大的任务：

1）需要将上传文件的内容读取成块（~10 KB）。

       <--Want to modify chunked data programmatically-->

2）重复“1”步骤，直到流读取文件的全部内容（从开始到结束顺序）。

我尝试了这个程序，但作为回应，我只有一些数据量。如何执行上述任务？

Answer 1

您不应使用文件 API（已弃用 - 请参阅您提到的页面顶部的评论）。而是使用 GCS 客户端（在弃用通知中提到）。GCS 客户端允许您连续读取，并且您可以在请求之间序列化 GcsInputChannel 的状态，直到读取完成（如果读取时间长于请求超时）。您还应该考虑使用 mapreduce 库并使用 GoogleCloudStorageLineInput 读取文件并将修改后的文件写入映射器（在您的情况下可能仅映射）。