python - 将 COCO 数据集导入 google colaboratory

Question

COCO 数据集非常大，我可以将其上传到 google colab。有什么办法可以直接将数据集下载到google colab？

Answer 1

可以直接用wget下载

!wget http://images.cocodataset.org/zips/train2017.zip

此外，您应该使用在 350 GB 时提供更大空间的 GPU 实例。

Answer 2

另一种方法是仅将注释文件上传到 Google Colab。无需下载图像数据集。我们将使用PyCoco API。接下来，在准备图像时，您可以通过 URL 读取图像文件，而不是从 Drive / local 文件夹中访问图像文件！

# The normal method. Read from folder / Drive
I = io.imread('%s/images/%s/%s'%(dataDir,dataType,img['file_name']))

# Instead, use this! Url to load image
I = io.imread(img['coco_url'])

这种方法将为您节省大量空间、下载时间和精力。但是，您在训练期间需要有效的 Internet 连接来获取图像（当然您有，因为您使用的是 colab）。

如果您对使用 COCO 数据集感兴趣，可以查看我在 medium 上的帖子。

Answer 3

您可以将其下载到谷歌驱动器，然后将驱动器安装到 Colab。

from google.colab import drive
drive.mount('/content/drive')

然后您可以 cd 到包含数据集的文件夹，例如。

import os
os.chdir("drive/My Drive/cocodataset")

Answer 4

使用驱动器更适合进一步使用。还要使用 colab ( !unzip ) 解压缩 zip，因为在驱动器上使用 zip 提取器需要更长的时间。我试过了：D

Answer 5

这些天来，下载 COCO 最简单的方法是使用 Python 工具，fiftyone. 它允许您下载、可视化和评估数据集以及您感兴趣的任何子集。

它也可以直接在 Colab 中运行，因此您可以在那里执行整个工作流程。

import fiftyone as fo
import fiftyone.zoo as foz

#
# Only the required images will be downloaded (if necessary).
# By default, only detections are loaded
#

dataset = foz.load_zoo_dataset(
    "coco-2017",
    splits=["validation","train"],
    classes=["person", "car"],
    # max_samples=50,
)

# Visualize the dataset in the FiftyOne App
session = fo.launch_app(dataset)