问题标签 [apache-twill]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
46 浏览

jetty - 通过 Apache Twill 在 Hadoop 上部署多个战争实例

我有一个部署在 Tomcat 上的 Web 应用存档(war)文件。它包含一些 REST 服务。为了扩展,我想通过 Apache Twill 在 Hadoop 集群上部署这些 REST 服务(作为 war 或 jar)。我想使用Jetty而不是Tomcat.

我找不到很有帮助的东西。我正在寻找详细的技术指南,甚至更好的是分步指南。

0 投票
0 回答
90 浏览

hadoop - 将任意本地 jar 发送到 YARN 容器类路径

我正在使用 Apache Twill (v 0.10) 来构建 YARN 应用程序。我观察到我的应用程序代码没有引用的 jar 没有被拾取并发送到容器的类路径。我检查了 YarnTwillPreparer 类以查看依赖项是如何确定的。但是,我仍然不太清楚我需要做什么才能强制将一些额外的 jar 发送到每个 YARN 容器。

我认为必须有一种简单而优雅的方式来实现这一目标。更欢迎使用精确的代码片段。任何指针也很好。

0 投票
0 回答
89 浏览

hadoop - 一起编写 MapReduce 和 YARN 应用程序

我想使用 Hadoop 2.6.5(在我自己的本地集群中)运行 MapReduce 应用程序,并且我想更新 YARN 中的一些内容,因此我看到我可以编写自己的 YARN 应用程序(https://hadoop.apache.org/ docs/r2.6.5/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html)。但是,如果我以这种方式(使用 YARN 客户端)运行 YARN,那么我就不能将 MapReduce 范式(Map 和 Reduce 函数)与 Job 类一起使用。

是否有任何选项可以编写我自己的 ApplicationManager 并将 MapReduce 范例与简单的 Job 类一起使用?

这些是我发现的一些关于编写 YARN 应用程序的有用示例 https://github.com/noitcudni/yarn https://github.com/hortonworks/simple-yarn-app https://github.com/blrunner/yarn-初学者示例/blob/master/src/main/java/com/wikibooks/hadoop/yarn/examples/MyClient.java

*使用弹簧或斜纹会导致同样的问题。

0 投票
0 回答
22 浏览

hadoop - 在长期运行的纱线应用程序中重新生成委托令牌

我正在使用 Apache twill 部署纱线应用程序。该应用程序是一个静态 hadoop 应用程序。正如标题所说,我无法弄清楚如何在到期时重新生成委托令牌并将其发送到所有容器/应用程序主服务器,并确保它们在容器重启时加载相同。

此外,我发现 Apache twill 上的 Javadocs 有点缺乏。有没有我可以关注的博客/邮件列表?

谢谢