问题标签 [nodemanager]

我已按照本网站的所有步骤进行操作。在我的 PC 上，一切都运行良好，但在我的笔记本电脑上 nodeManager 正在关闭。

https://muhammadbilalyar.github.io/blogs/How-to-install-Hadoop-on-Window-10/?fbclid=IwAR3u_-xwIulzm9KJ7ivsPD_JyQWI0jPvV9s_Fhp1RpPFupY3LWvrulzRr_4

以下是运行 start-all.cmd 命令后我的 nodeManager 状态。

我在 Weblogic 版本 12.1.3.0.0 和 JDK 1.8.0_101-b13 中发现了 NodeManager 服务的以下漏洞

{ "port": 5556, "serviceName": "remotewatch?", "protocol": "tcp", "severity": 2, "pluginID": 42873, "pluginName": "支持 SSL 中等强度密码套件 (SWEET32) ", "pluginFamily": "General", "description": "远程主机支持使用提供中等强度加密的 SSL 密码。Nessus 将中等强度视为使用密钥长度至少为 64 位且小于 112 位的任何加密, 或者使用 3DES 加密套件。\n\n请注意，如果攻击者在同一个物理网络上，绕过中等强度加密要容易得多。", "fname": "ssl_medium_supported_ciphers.nasl", "pluginModificationDate": "2019/02/28”、“pluginType”：“remote”、“riskFactor”：“Medium”、“scriptVersion”：“1.20”、“solution”：“尽可能重新配置受影响的应用程序以避免使用中等强度的密码。 ", "synopsis": "远程服务支持使用中等强度 SSL 密码。", "pluginOutput": "\n 中等强度密码（> 64 位和 < 112 位密钥，或 3DES）\n\n EDH-RSA-DES-CBC3-SHA Kx=DH Au=RSA Enc=3DES-CBC(168) Mac=SHA1 \n ECDHE-RSA-DES-CBC3-SHA Kx=ECDH Au=RSA Enc=3DES-CBC(168) ) Mac=SHA1 \n DES-CBC3-SHA Kx=RSA Au=RSA Enc=3DES-CBC(168) Mac=SHA1 \n\n上面的字段是：\n\n {OpenSSL 密码名}\n Kx={密钥交换}\n Au={认证}\n Enc={对称加密方法}\n Mac={消息认证码}\n {出口标志}\n" ，“cve”：“CVE-2016-2183”，“complianceCheckName”：null，“complianceActualValue”：null }

pluginType": "remote", "riskFactor": "Low", "scriptVersion": "1.24", "solution": "重新配置服务以使用 2048 位或更大的唯一 Diffie-Hellman 模数。", "synopsis" : "远程主机允许 SSL/TLS 连接具有一个或多个小于或等于 1024 位的 Diffie-Hellman 模数。", "pluginOutput": "\n易受攻击的连接组合：\n\n SSL/TLS 版本：TLSv1.0 \n 密码套件：TLS1_CK_DHE_RSA_WITH_AES_128_CBC_SHA\n Diffie-Hellman MODP 大小（位）：1024\n 警告 - 这是已知的静态 Oakley Group2 模数。这可能会使\n 远程主机更容易受到 Logjam 攻击。\n Logjam 攻击难度：困难（需要国家资源）\n\n SSL/TLS 版本：TLSv1。0\n 密码套件：TLS1_CK_DHE_RSA_WITH_3DES_EDE_CBC_SHA\n Diffie-Hellman MODP 大小（位）：1024\n 警告 - 这是已知的静态 Oakley Group2 模数。这可能会使\n 远程主机更容易受到 Logjam 攻击。\n Logjam 攻击难度：困难（需要国家资源）\n\n SSL/TLS 版本：TLSv1.0\n 密码套件：TLS1_CK_DHE_RSA_WITH_AES_256_CBC_SHA\n Diffie-Hellman MODP 大小（位）：1024\n 警告 - 这是已知的静态 Oakley Group2 模数。这可能会使\n 远程主机更容易受到 Logjam 攻击。\n Logjam 攻击难度：困难（需要国家资源）\n\n SSL/TLS 版本：TLSv1.1\n 密码套件：TLS1_CK_DHE_RSA_WITH_AES_128_CBC_SHA\n Diffie-Hellman MODP 大小（位）：1024\n 警告 - 这是已知的静态 Oakley Group2 模数。这可能会使\n 远程主机更容易受到 Logjam 攻击。\n Logjam 攻击难度：困难（需要国家资源）\n\n SSL/TLS 版本：TLSv1.1\n 密码套件：TLS1_CK_DHE_RSA_WITH_3DES_EDE_CBC_SHA\n Diffie-Hellman MODP 大小（位）：1024\n 警告 - 这是已知的静态 Oakley Group2 模数。这可能会使\n 远程主机更容易受到 Logjam 攻击。\n Logjam 攻击难度：困难（需要国家资源）\n\n SSL/TLS 版本：TLSv1.1\n 密码套件：TLS1_CK_DHE_RSA_WITH_AES_256_CBC_SHA\n Diffie-Hellman MODP 大小（位）：1024\n 警告 - 这是已知的静态 Oakley Group2 模数。这可能会使\n 远程主机更容易受到 Logjam 攻击。\n Logjam 攻击难度：困难（需要国家资源）\n", "cve":

我曾尝试在 NodeManager 进程中添加“-Djdk.tls.ephemeralDHKeySize=2048”，但没有帮助。

有什么意见/建议吗？

首先感谢您的回答，不管它是否有用。不是很懂Container，问题如下

1. 容器是 NodeManager 的一个组件吗？
2. 容器是用 NodeManager 创建的吗？
3. NodeManager或MRAppMaster想启动一个Contatiner时，只需要配置一下吗？
4. 调度程序中是否有可用资源的集合？每次运行作业都会分配一些资源吗？就像切火腿一样？
5. 我想知道如何在 ResourceManager 中启动或创建容器。

希望答案能简单易懂，最好有图展示。谢谢你。

我正在建立一个单节点集群。我正在关注https://dev.to/awwsmm/installing-and-running-hadoop-and-spark-on-ubuntu-18-393h教程。但是，我的节点管理器没有启动。

以下是节点管理器日志：

这是我的yarn-site.xml：

我看到很多帖子mapreduce.shuffle必须更改为mapreduce_shuffle. 但是，在我的 yarn-site.xml 中，我已经有了mapreduce_shuffle.

我在 Medium 上读过一篇文章，声称执行器的数量 + 1（用于驱动程序）应该是 3 的倍数，以有效利用机器上的核心（在这种情况下为 16 个核心，即每个执行器 5 个和 1 个将保留给操作系统和节点管理器）

由于实际原因，我无法通过在集群上进行试验来验证此声明。有人试过这个吗？或参考代码/文档说明 Yarn 节点将/不会在另一个 Spark 应用程序之间共享集群资源？

我正在编写一个 python 文件，它检查 weblogic 服务器的当前状态并执行所需的操作（启动/停止）。

我正在使用 nmServerStatus 来获取 weblogic 状态的状态。如何将 nmServerStatus 的结果存储在变量中？

它的语法是 nmServerStatus (ServerName)。

让我知道是否需要任何其他信息。

我已经在我的 Windows PC 上安装了 Hadoop 的单节点集群。除nodemanager外，所有服务都运行良好。它抛出错误并关闭。这是错误：

2021-06-18 11:00:33,907 错误 nodemanager.NodeManager: 错误启动 NodeManager java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache /hadoop/io/nativeio/NativeIO$POSIX$Stat;

完整错误：

2021-06-21 11:53:09,859 错误 nodemanager.NodeManager: 错误启动 NodeManager java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache /hadoop/io/nativeio/NativeIO$POSIX$Stat; 在 org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Native Method) 在 org.apache.hadoop.io.nativeio.NativeIO$POSIX.getStat(NativeIO.java:460) 在 org.apache.hadoop。 fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus.loadPermissionInfoByNativeIO(RawLocalFileSystem.java:821) at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:735) at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus.getPermission( RawLocalFileSystem.java:703) 在 org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService。

这个错误一直持续，但这是导致错误的主要部分。有什么办法可以解决？

我们有带有 2 个资源管理器服务和 190 个node managers服务的 HDP 集群

HDP 版本 - 2.6.5

纱线版本 - 2.7.3

Hadoop平台——ambari 2.6.2.1版本

每个节点管理器都位于 VM linux 机器上

现在我们想将node-managers机器扩展到 220 台机器

我想问的问题：

剂量资源管理器可以支持220个节点管理器服务（当每个节点管理器服务安装在一个节点管理器Linux机器上时）？

node-mangers一位资源管理器可以支持的服务的最大限制是多少？

在查看了 Nodemailer 的文档后，我找不到任何关于取消订阅电子邮件的信息。

我正在尝试为我的网络应用程序创建时事通讯，并且我不想使用 Mailchimp 或任何其他电子邮件服务，因为它们并非永远免费。

你对我应该做什么有什么想法吗？

帮助将不胜感激！

./start-yarn.sh在 MacOS 终端中执行时，出现以下错误：

你能建议一个解决方案吗？