我正在尝试使用 ray 加载和处理大文件。
我使用 ray 的目的是对文件进行多处理并提高解决方案的速度。
我一直遇到这个 pyarrow 错误：pyarrow.lib.ArrowInvalid: Maximum size exceeded (2GB). 它似乎与等离子对象存储有关。
我尝试使用 huge_pages 并将其挂载到等离子存储中，在初始化时增加射线对象存储的大小。
任何帮助都会很棒。
问问题
312 次
我正在尝试使用 ray 加载和处理大文件。
我使用 ray 的目的是对文件进行多处理并提高解决方案的速度。
我一直遇到这个 pyarrow 错误：pyarrow.lib.ArrowInvalid: Maximum size exceeded (2GB). 它似乎与等离子对象存储有关。
我尝试使用 huge_pages 并将其挂载到等离子存储中，在初始化时增加射线对象存储的大小。
任何帮助都会很棒。