0

我正在尝试使用 Hugginface 数据集使用转换器进行语音识别，其中我有成对的文本/音频。我正在创建一个数据框，这两个列表没有问题：

d = pd.DataFrame.from_dict({"audio": ts_audios, "sentence": ts_sent})

但是当试图将其包装到数据集（来自 Hugginface 数据集）时：

ds=Dataset.from_pandas(d)

它给：

pyarrow.lib.ArrowMemoryError: realloc of size 4294967296 failed

问题在于音频列表，如下所示：

[array([ 1.3715802e-05,  1.3041631e-05, -1.5017368e-06, ...,
       -1.1172481e-01, -1.2214723e-01,  0.0000000e+00], dtype=float32), array([-0.06073862, -0.12271373, -0.11600843, ..., -0.11915235,
       -0.13458692,  0.        ], dtype=float32), array([-0.07074431, -0.12263235, -0.1065825 , ..., -0.10845864,
       -0.12171803,  0.        ], dtype=float32), array([-0.02499148, -0.04160473, -0.03867628, ..., -0.01881211,
       -0.02035856,  0.        ], dtype=float32), array([-0.18304674, -0.03917564, -0.030768  , ..., -0.11494933,
       -0.112398  , -0.12073436], dtype=float32) .....]

如果我想使用 Huggingface 的转换器包，我必须使用 Dataset 格式。知道如何解决这个问题吗？

4

1 回答 1

1

请注意，4294967296 字节正好是 4GB 内存。Huggingface 数据集将以惰性模式加载数据，因此它可以解决内存问题。您可以尝试使用datasets.audio来解决您的问题。这是官方教程中的一个示例：

from datasets import load_dataset, load_metric, Audio
common_voice = load_dataset("common_voice", "tr", split="train")
common_voice[0]["audio"]

{'array': array([ 0.0000000e+00,  0.0000000e+00,  0.0000000e+00, ...,
    -8.8930130e-05, -3.8027763e-05, -2.9146671e-05], dtype=float32),
'path': '/root/.cache/huggingface/datasets/downloads/extracted/05be0c29807a73c9b099873d2f5975dae6d05e9f7d577458a2466ecb9a2b0c6b/cv-corpus-6.1-2020-12-11/tr/clips/common_voice_tr_21921195.mp3',
'sampling_rate': 48000}

或者，如果您有音频文件的路径，您也可以使用它cast_column来加载音频文件。

my_audio_dataset = load_dataset("path_to_your_dataset",split="train")
my_audio_dataset = my_audio_dataset.cast_column("the_column_name_for_audio_files_path", Audio())
于 2022-01-12T10:29:18.357 回答