问题标签 [microsoft-distributed-file-system]

我们有一个 WCF 服务，旨在将现有文件从其主机服务器复制到不同域上另一台服务器上的文件夹（使用 UNC 路径）。我们能够使用委托（使用从 ADVAPI32.dll 导入的 LogonUser()）来做到这一点。

目标文件共享现在已在 DFS 下重新配置，并且委派方法不再有效。两个域之间没有配置信任（这是我们无法控制的）。

我们考虑过映射驱动器（我们有执行此操作的凭据），但由于 WCF 服务在没有活动用户会话的情况下运行，因此它将无法工作。

WCF 服务有没有办法将文件复制到另一个不受信任的域上的文件共享？

我正在寻找一种将新文件系统挂接到 Hadoop 中的方法，以针对 HDFS 对这个新文件系统的性能进行基准测试。我是 Hadoop 新手，所以如果我问错了问题，请随时纠正我。如果有帮助，我将使用亚马逊的 EMR。

我想使用 powershell 从文件夹的 DFS 属性选项卡中提取信息。

本质上，我想遍历文件夹结构并递归检索每个文件夹的 dfs 信息。

我正在尝试从分布式文件系统（Microsoft）中检索文件

为了访问这个 DFS，我需要输入连接到 DFS 的用户名和密码。

现在我试图在 python 中编写一个脚本来从 DFS 中检索文件 REMGROUP.txt。我一辈子都找不到不涉及登录 ftp 服务器的方法。我发现的一些模块包括

http://docs.pyfilesystem.org/en/latest/ftpfs.html#fs.ftpfs.FTPFS

https://docs.python.org/2/library/shutil.html

但是这些都不是指一种方式，也没有一种采用用户名或密码的方法。

我的问题是有人知道在 python 中如何访问需要用户名和密码来检索文件的 Windows DFS 吗？

我正在尝试在托管模式下运行https://github.com/hortonworks/simple-yarn-app上的 simple-yarn-app。

• 我已将 jar 从本地复制到 hdfs，例如

  /li>

• 当我尝试运行它时

  我得到FAILED的状态。我在 中查找日志$HADOOP_HOME/logs，但没有找到相关的日志。

• HDFS 中的某个地方会存在日志吗？

以下是我得到的错误：

`[[2~14/07/10 12:23:32 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 在适用的情况下使用内置 java 类
14/07/10 12:23:32 INFO client.RMProxy：在 /0.0.0.0:8032 处连接到 ResourceManager 正在
提交应用程序 application_1405002979164_0004
14/07/10 12:23:32 INFO impl.YarnClientImpl：提交应用程序 application_1405002979164_0004 到 ResourceManager 在 /0.0.0.050404
完成状态 Application_164_21在 1405013016326 失败

我得到以下诊断报告，

----------------故障诊断----------------
应用程序 application_1405062676632_0002 失败 2 次，原因是 AM Container for appattempt_1405062676632_0002_000002 以 exitCode 退出：- 1000 由于： 。
这次尝试失败..
申请失败。

我应该如何调试或解决这个问题？

我正在尝试使用 net use $drive_letter $target $password /user:domain\username 从远程机器映射分布式文件系统 (DFS)

如果我通过登录到机器来执行此操作，则没有错误，但是如果我远程尝试，我会得到

发生系统错误 1312。指定的登录会话不存在。它可能已经被终止。

有没有人遇到过这个问题？

或者有没有其他方法可以远程映射网络驱动器而不会遇到这些问题？

我创建了一个新的文件系统（F: - 目标）并与另一个（E:\ - 源）同步。奇怪的是，我的新 FS 与源 FS 有 7GB 的差异。

我发现下面的文件在源中有 8GB（大小）和 1GB（使用），在目标中有 8GB（大小）和 8GB（使用）。

我不知道我是否可以安全地删除这个文件。我想不是！

E:\系统卷信息\DFSR\SimilarityTable_1

问题：（1）这个文件是什么？(2) 我该如何解决？

我们为不同的客户使用大量 Microsoft Access 文件。该文件保存在不同的文件夹（也在子文件夹中），每年按年、客户、月等分隔。

这里的主要内容是我想压缩所有访问文件，因为它们很重并且正在消耗我们的 DFS 空间......

我尝试使用 7za，但我不知道如何压缩包含该文件的每个文件夹中的每个文件。我完成的脚本将所有访问文件压缩在一个数据包中，在一个具体文件夹中......这不是解决方案。

我尝试了什么：

7za.exe a -r -t7z 访问文件.7z *.accdb

有什么办法可以做我想做的事吗？

（对不起我的英语，我正在努力做到最好！）

我有一个 6 个节点的 hdoop 集群。I节点是主节点。所有节点，包括主节点，都在运行 TaskTracker 和 DataNode。命令

仅返回 3 个数据节点，包括在主节点上运行的 DataNode。控制台上没有错误。主节点可以通过 SSH 连接到这些节点，并且 DataNode 正在未报告的节点上运行。我通过执行 JPS 命令检查了对未报告节点的 SSH 日志记录。所有从节点都有以下输出：

ubuntu@slave2:¬/hadoop/logs$ jps

5007 任务跟踪器

4868 数据节点

5261 日元

如何在 dfsadmin 命令中查找未报告的 DataNode？

让我们假设，我们有一个双向图，如下所示

现在，来自源 8 的 DFS 遍历将是 8 1 2 3 6 7 4 5。递归实现

所以首先它会递归地去 8->1->2->3 , 8->6 , 8->7->4->5

现在，使用此功能，我还想跟踪每个节点与其源的距离。让我们将其称为 dist[N]，其中 N=节点数。在此图中，dist[8]=0，dist 1 =1，dist[2]=2，依此类推。我该如何实施？

起初我尝试保留一个变量 d 并增加它，如下面的代码所示

但很明显，d 的值必须在再次达到 8 时重置为 0，否则根据上述函数 dist[6] 将是 1+ dist[3]。如何克服这一点？另外，有没有更有效的方法来实现这一点？