python - 在 s3fs.S3FileSystem 中设置超时的正确方法是什么？

Question

我尝试了各种方法来设置s3fs.S3FileSystem对象的读取超时，例如

s3 = s3fs.S3FileSystem(s3_additional_kwargs={"read_timeout": 500}, config_kwargs={"read_timeout": 500} )

或者 s3.read_timeout = 500 但他们似乎都没有按预期控制超时。有谁知道设置这些类型参数的正确方法？

谢谢

Answer 1

这：

S3FileSystem.read_timeout = 500

将在创建任何实例之前工作，因为它控制应用于实例的默认超时。

如果你想为每个实例设置它，你需要config_kwargs（传递给 botocore's Config）。看来您尝试了这个版本，所以值得跟进 aiobotocore 以查看他们的代理 AioConfig 是否支持该参数。

请注意，还有其他超时，例如connect_timeout您可能遇到的较低级别的 HTTP/socket 事件。