google-cloud-storage - 从 Google Cloud Datalab 中的 Notebook 读取存储在 Google Cloud Storage 中的 zip 文件中的数据

Question

我有一个 zip 文件，其中包含存储在 Google Cloud Storage 实例中的 zip 文件中的相对较大的数据集 (1Gb)。

我需要使用托管在 Google Cloud Datalab 中的笔记本来访问该文件和其中包含的数据。我该怎么做？

谢谢你。

Answer 1

你可以试试下面的吗？

import pandas as pd

# Path to the object in Google Cloud Storage that you want to copy
sample_gcs_object = 'gs://path-to-gcs/Hello.txt.zip'

# Copy the file from Google Cloud Storage to Datalab
!gsutil cp $sample_gcs_object 'Hello.txt.zip'

# Unzip the file
!unzip 'Hello.txt.zip' 

# Read the file into a pandas DataFrame
pandas_dataframe = pd.read_csv('Hello.txt')