问题标签 [snakebite]

我在 HDFS 中有大约 1500 个 XML 文件，每个文件大约 2-3Gb。我需要编写一个 python 脚本来解析 XML 文件以执行 MapReduce。但是，我在使用 python 访问 HDFS 中的文件时遇到了问题。

我尝试了以下脚本，但收到错误消息。

以下是错误：

使用 python 从 HDFS 访问文件的最佳推荐方法是什么？

我正在尝试使用 Python 连接到 Hadoop (HDFS)。我正在使用snakebite包来建立连接。我成功安装了它，但是当我尝试导入它时，它给出了如下错误：

错误：

文件“C:\pythonNJ\lib\site-packages\snakebite\client.py”，第 1473 行 baseTime = min(time * (1L << retries), cap);

有没有办法解决它或者有人可以告诉我如何通过另一种方式建立连接？

我正在尝试在 python 3 中导入“Security_pb2”包。但它显示错误。谁能告诉我如何导入它或任何其他方式来完成它。

我什至尝试使用“ pip ”安装它，但是

找不到满足要求 security_pb2 的版本（来自版本：）没有找到 security_pb2 的匹配分发

我也试过“ conda ”，但是

收集包元数据：完成解决环境：失败

PackagesNotFoundError：当前频道不提供以下软件包：

• 安全_pb2

当前频道：

• https://repo.anaconda.com/pkgs/main/win-64
• https://repo.anaconda.com/pkgs/main/noarch
• https://repo.anaconda.com/pkgs/free/win-64
• https://repo.anaconda.com/pkgs/free/noarch
• https://repo.anaconda.com/pkgs/r/win-64
• https://repo.anaconda.com/pkgs/r/noarch
• https://repo.anaconda.com/pkgs/msys2/win-64
• https://repo.anaconda.com/pkgs/msys2/noarch

要搜索可能提供您正在寻找的 conda 包的替代频道，请导航至

并使用页面顶部的搜索栏。

snakebite 最近成为 hdfs cli 的替代品。根据我的理解，如果命令由于集群问题而失败，hdfs 不会重试命令。我的问题是snakebite在集群失败的情况下处理重试。通过重试，我的意思是如果命令失败，它会多次尝试命令。

我该如何减慢速度？现在它立即向下/向左/向上/向右。我知道它与时间模块有关，但我不知道如何实现它。基本上我想把这个过程从 10 年减慢到 490 年。不要添加延迟，而是减慢过程，就像让它慢动作一样。我什至尝试了 120fps 的 pygame 时钟，但它不起作用

我想知道是否可以获得存储在 HDFS 中的每个文件的信息，例如：上次访问日期、修改日期、名称、大小...

我考虑过使用蛇咬与 HDFS 建立脚本连接，然后我想知道是否可以使用 MrJob 模块从每个文件中捕获我需要的信息。

示例：

如果可能的话，帮我解决这个问题。如果他们不知道，我也接受。

我正在尝试使用 python 代码、库（snakebite-py3use_sasl ）连接到HDFS 集群，我看到当我设置为时True出现以下错误：

代码片段：

错误：

请高手指点，谢谢。