问题标签 [microsoft-distributed-file-system]

如何设置 Hadoop HDFS 应该监听的 IP 地址？目前，当我跑步时，netstat我看到它在127.0.0.1:9000. 这使得集群中的另一个节点无法访问 HDFS。我connection refused error在运行应用程序时得到。

我希望它显示为my-machine-name:9000而不是127.0.0.1:9000. 我的core-site.xml文件是

我正在尝试创建一个附加（或创建，然后附加）到现有文件的脚本。该文件正在与另一个系统连接，因此为了避免在我追加文件时正在读取文件的情况，我正在对其创建一个非共享锁。脚本似乎可以完美运行，但有一个我无法理解的异常。这是一个代码示例：

有一个条件不会触发 catch 块 - 如果文件已经通过 powershell 控制台锁定，并且如果此代码是从脚本运行而不是直接在窗口中键入的。如果我首先在 Excel 中打开文件，catch 块总是有效的。如果我通过在控制台中键入此代码来执行此代码，它也始终有效。但是，如果我首先通过在控制台中键入文件来锁定文件，然后运行尝试执行相同操作的脚本，则不会引发异常并且不会触发 catch 块。

我在这里想念什么？

更新：我做了额外的故障排除，这是我的发现。首先，如何重现这个：

• 创建一个名为 test.txt 的文件
• 创建一个名为 的脚本test1.ps1，将上面的代码放入其中

• 在控制台中运行此命令：

  /li>

• 现在执行test1.ps1脚本

并且脚本的 catch 块不会触发......在我的工作环境中！我在家里测试过，它按预期工作。所以我回去工作并再次测试它，这次使用PC本地驱动器上的文件并且它工作。使它无法工作的一个区别是我正在处理的文件位于我公司的 DFS 命名空间中。我在我的 PC 上映射的本地网络驱动器上尝试了它，它运行良好。

因此，无论出于何种原因，PowerShell 都不会像预期的那样对 DFS 命名空间上的 PowerShell 锁定的文件做出反应。我尝试过的所有其他应用程序都会检测到锁定：记事本和 Excel 拒绝读取文件，当我在 PDF 文档上测试它时，Acrobat 也不会打开它。但是PowerShell没有抱怨，甚至处理所有后续方法都没有错误——没有任何效果；CopyTo()和Flush()方法不会失败，但文件没有改变。

设置 DFS 副本时的一项常见任务是确定已复制文件夹中 32 个最大文件的大小 - 根据当前最佳实践，这些文件的总和应该是暂存区域的最小大小。

Technet 博客中给出了查找和计算此前 32 个文件大小的方法：https ://blogs.technet.microsoft.com/askds/2011/07/13/how-to-determine-the-minimum-staging -area-dfsr-needs-for-a-replicated-folder/

它依赖于使用Get-ChildItem来查找路径中的所有文件及其大小，按大小排序，丢弃除 32 个最大的文件之外的所有文件，然后计算总和。

当您的路径中的文件数量有限时，这很好，但是在索引包含数十万（如果不是数百万）文件的文件夹时存在严重的缺点。该进程在执行时会将所有内容转储到内存中 - 在我的示例中，它消耗超过 2GB 的虚拟内存 - 并且需要很长时间，即使单个文件非常小也是如此。内存保持分配状态，直到 PS 实例关闭。

我正在尝试在我的 Debian linux 机器上安装支持 Windows Server 2012 的 DFS，它使用完全限定的域名，但成功有限。

所以，我首先尝试的是：

但是，我收到了一个错误

mount error(5)：输入/输出错误

经过一番谷歌搜索，我被告知我需要传递参数 sec=ntlm 或其他 sec 变体，但这些往往会导致以下错误消息：

安装错误（95）：不支持操作

我已经尝试了很多谷歌搜索并遵循了此处和此处的建议，但我仍然看到相同的错误消息。

关于机器的一些信息。客户端运行 Debian 5.0.10，服务器是 Windows Server 2012 R2 Standard 9600。

提前致谢！

目前我们在一个 VNet 中有 2 个虚拟机，它们都安装了 FTP 和 DFS 角色，还启用了 DFS 复制。

1. 主要问题是，如果我们在两个不同的 VNet（不同位置）中拥有上述虚拟机，是否允许我进行分布式文件系统（DFS）复制？

2. 如果没有，在这两个 VNet 之间创建 VPN 是否允许 DFS 复制工作？

能否将 DFS 共享从 On Prem 复制到 Azure？如果是这样，我需要使用哪个存储？

在 Azure 中设置虚拟机并使用 DFS-R 通过 VPN 隧道利用它会更容易吗？

我已经在 windows hadoop-2.6.0 上安装/配置了 Hadoop

我无法成功启动“sbin\start-dfs”运行命令。

我得到以下错误

运行 YARN 也有类似的问题。并且被告知在路径中包含 hadoop-2.6.0/sbin 和 hadoop-2.6.0/bin 可以解决问题。但我仍然面临错误。

谁能帮我解决这个问题？

我已经重新启动了 HDFS 名称节点和数据节点。ClusterID 发生了变化，所以我正确配置了，但是 storageID 和 datanodeUuid 我不知道在哪里可以找到正确的配置来检测 DFS 的文件。我检查df -h并且有文件：

但是从 HDFS 网站我看不到任何文件。

我正在尝试使用堆栈实现对图形的深度优先搜索。但是，我不断收到有关类型变量的错误。这是我的代码的一部分：

错误发生在以下行：

错误：不兼容的类型：对象无法转换为 IVertex，其中 T 是类型变量

和

错误：未经检查地调用 add(E) 作为原始类型 Vector 的成员，其中 E 是类型变量。

我正在尝试用 Java 编写一个程序，该程序在邻接矩阵上执行 DFS 和 BFS。到目前为止，我的代码可以编译并提供所需的输出。

但是，我遇到了一个我无法解决的错误，我觉得这可能与我的 for 循环有关。

错误如下：

错误代码如下：

if 语句中的第二行：

最后主要是 g.DF(s) ：

}

任何帮助，将不胜感激。