问题标签 [oryx]

我正在尝试使用 Hadoop 2.4 运行 Oryx。Hadoop 成功启动并发出警告：

WARN util.NativeCodeLoader：无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类。

Oryx 也成功启动。但是当我将数据摄取到其中时，会引发以下异常：

2014-08-22 14:35:05,835 错误 [37788 上的 IPC 服务器处理程序 3] org.apache.hadoop.mapred.TaskAttemptListenerImpl：任务：尝试_1408697508855_0002_m_000000_0 - 退出：org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z 2014 -08-22 14:35:05,835 INFO [IPC 服务器处理程序 3 上 37788] org.apache.hadoop.mapred.TaskAttemptListenerImpl：来自尝试_1408697508855_0002_m_000000_0 的诊断报告：错误：org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z 2014 -08-22 14:35:05,837 INFO [AsyncDispatcher 事件处理程序] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl：来自尝试_1408697508855_0002_m_000000_0 的诊断报告：错误：org.apache.hadoop.util.NativeCodeLoader。 buildSupportsSnappy()Z 2014-08-22 14:35:05,840 信息 [AsyncDispatcher 事件处理程序] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl：attempt_1408697508855_0002_m_000000_0 TaskAttempt 从 RUNNING 转换到 FAIL_CONTAINER_CLEANUP

有没有人之前遇到过这样的问题？任何形式的帮助都将是可观的！

我正在尝试使用 Google 的 Cloud Storage Connector for Hadoop 在 Hadoop 上运行 Oryx： https ://cloud.google.com/hadoop/google-cloud-storage-connector

我更喜欢将 Hadoop 2.4.1 与 Oryx 一起使用，因此我将 hadoop2_env.sh 设置用于我在 google 计算引擎上创建的 hadoop 集群，例如：

当我尝试使用 hadoop 运行 oryx 时，我面临两个主要问题。

1) 尽管确认我的 hadoop conf 目录与 google 在计算引擎上安装的预期匹配，例如：

我仍然发现某些东西正在寻找 /conf 目录，例如：

我的理解是../etc/hadoop应该是/conf目录，eg： hadoop:配置文件

虽然我不需要进行任何更改，但这个问题只有在我将配置文件复制到新创建的目录时才能解决，例如：

那么这是为什么呢？这是使用 google hadoop 连接器的结果吗？

2）在“解决”上述问题之后，我发现（在我看来）与 hadoop 集群和 google 文件系统之间的通信有关的其他错误：

2014 年 10 月 1 日星期三 20:18:30 UTC 警告无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类

2014 年 10 月 1 日星期三 20:18:30 UTC 信息 命名空间前缀：hdfs://BUCKET_NAME

2014 年 10 月 1 日星期三 20:18:30 UTC 在 com.cloudera.oryx.common.servcomp.StoreUtils.listGenerationsForInstance(StoreUtils.java:50) 在 com.cloudera.oryx.computation 执行 java.lang.ExceptionInInitializerError 时出现严重意外错误。 PeriodicRunner.run(PeriodicRunner.java:173) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:304) at java.util .concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:178) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java: 1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 在 java.lang.Thread.run(Thread.java:745) 引起：java.lang.IllegalArgumentException: java.net.UnknownHostException: org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil. java:373) 在 org.apache.hadoop.hdfs.NameNodeProxies.createNonHAProxy(NameNodeProxies.java:258) 在 org.apache.hadoop.hdfs.NameNodeProxies.createProxy(NameNodeProxies.java:153) 在 org.apache.hadoop.hdfs .DFSClient.(DFSClient.java:602) 在 org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:547) 在 org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:139) 在 org. apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2591) 在 org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:89) 在 org.apache.hadoop.fs.FileSystem$Cache.getInternal （文件系统.java：2625) 在 org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2607) 在 org.apache.hadoop.fs.FileSystem.get(FileSystem.java:368) 在 com.cloudera.oryx.common .servcomp.Store.(Store.java:76) at com.cloudera.oryx.common.servcomp.Store.(Store.java:57) ... 还有 9 个

引起：java.net.UnknownHostException: BUCKET_NAME ... 22 更多

与我相关的是，当我将默认文件系统设置为 gs:// 时，命名空间前缀是 hdfs://

也许这会导致 UnkownHostException？

请注意，我已“确认”hadoop 集群已连接到 google 文件系统，例如：hadoop fs -ls 生成我的 google 云存储桶的内容以及 gs://BUCKET_NAME 目录的所有预期内容。但是，我不熟悉通过 hadoop 连接器对 hadoop 的 google 表现，以及我通常测试以查看 hadoop 集群是否正在运行的传统方式，即：jps 仅产生 6440 Jps，而不是列出所有节点。但是，我从 hadoop 集群的主节点（即 PREFIX_NAME-m）运行此命令，并且在使用 google 云存储连接器用于 hadoop 时，我不确定预期的输出。

那么，如何解决这些错误并让我的 oryx 作业（通过 hadoop）成功访问我的 gs://BUCKET_NAME 目录中的数据？

提前感谢您的见解或建议。

更新：感谢非常详细的回复。作为一种解决方法，我通过更改将 gs://“硬编码”到 oryx 中：

至：

我现在收到以下错误：

2014 年 10 月 14 日星期二 20:24:50 UTC 严重意外错误在 com.cloudera.oryx.common.servcomp.StoreUtils.listGenerationsForInstance(StoreUtils.java:50) 在 com.cloudera.oryx.computation 执行 java.lang.ExceptionInInitializerError。 PeriodicRunner.run(PeriodicRunner.java:173) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:304) at java.util .concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:178) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java: 1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker。在 java.lang.Thread.run(Thread.java:745) 处运行(ThreadPoolExecutor.java:615)

引起：java.lang.RuntimeException：java.lang.ClassNotFoundException：类 com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem 在 org.apache.hadoop.conf.Configuration.getClass 找不到 （Configuration.java:1905）在 org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2573) 在 org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2586) 在 org.apache.hadoop.fs.FileSystem.access $200(FileSystem.java:89) at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2625) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2607)在 org.apache.hadoop.fs.FileSystem.get(FileSystem.java:368) 在 com.cloudera.oryx.common.servcomp.Store.(Store.java:76) 在 com.cloudera.oryx.common.servcomp。商店。（商店。java：57）

根据此处的说明：https ://cloud.google.com/hadoop/google-cloud-storage-connector#classpath我相信我已将连接器 jar 添加到 Hadoop 的类路径中；我补充说：

到 /home/rich/hadoop-env-setup.sh。和 (echo $HADOOP_CLASSPATH) 产生：

/contrib/capacity-scheduler/.jar:/home/hadoop/hadoop-install/share/hadoop/common/lib/gcs-connector-1.2.9-hadoop2.jar:/contrib/capacity-scheduler/.jar:/ _ _主页/hadoop/hadoop-install/share/hadoop/common/lib/gcs-connector-1.2.9-hadoop2.jar

我需要在类路径中添加更多内容吗？

我还注意到（可能相关）即使使用导出命令，我仍然会收到 /etc/hadoop/conf 的错误。我一直在使用 sudo mkdir /etc/hadoop/conf 作为临时解决方法。我在这里提到这一点，以防它可能导致其他问题。

Oryx 在 Ubuntu 上运行。它被配置为从某个目录读取 csv 文件以更新推荐。我需要的是获取完整的推荐列表（所有用户和每个用户 100 条推荐），以将其插入 Postgres 数据库。我怎样才能得到这些建议？API 只允许我检索单个用户的推荐。

我正在尝试让 Oryx 在 Google Compute Engine 上运行。我创建了一个新实例并通过以下方式安装了 Oryx：

并将此安装保存为 Google Compute Engine 上的图像（“oryx-image”）。

查找 Oryx 和 Google 文件系统（Hadoop 2.4.1 和 Hadoop 的 Google Cloud Storage 连接器）的问题 我一直使用 hdfs:// 作为默认文件系统。

查找在 Google Compute Engine 上启动的默认 Hadoop 包的问题（例如，没有默认Oryx 配置所需的 Snappy 库），我还尝试按照以下说明创建我自己的包含 Snappy 的 Hadoop 2.4.1 tarball：如何为 Google Compute Engine 启用 Snappy/Snappy Codec over hadoop 集群 （旁注：此处描述的 jdk 版本是否足以用于 oryx？）。然后，我使用了安装了 oryx 的保存图像（“oryx-image”）：

和我保存的 Hadoop tarball：

在 Google Compute Engine 上部署 Hadoop 2.4.1（使用 Snappy）集群（默认文件系统 = hdfs://）。仍然没有运气。

我可以在 GCE 上成功运行测试 Hadoop 作业，在 GCE 上测试 Snappy 实现（参见第二个链接），并从主节点本地测试 GCE 上的 Oryx 作业：

唯一的问题是让 Oryx 在 Google Compute Engine 上成功运行，数据位于 hdfs:// 或 gs:// 中。

我发现了许多关于环境变量更改等的不同说明，我不知道哪些是必要的，哪些可能会导致更多问题。我想知道是否有关于在 GCE 上安装/运行 oryx 的文档。也许有人已经完成了相同的过程并且可以提供指导和/或至少确认安装成功？

在 GCE 上使用 Snappy 安装 Hadoop 2.4.1的说明（在第二个链接中找到）非常棒。我希望找到有关使 oryx 从头开始​​在 GCE 上工作所需的所有步骤的详细信息。

谢谢！

我已经在谷歌计算引擎上部署了一个 hadoop 集群。然后我在 hadoop 集群的主节点上运行机器学习算法（Cloudera 的 Oryx）。该算法的输出通过 HTTP REST API 访问。因此，我需要通过 Web 浏览器或通过 REST 命令访问输出。但是，我无法解析主节点输出的地址，其格式为http://CLUSTER_NAME-mcPROJECT_NAME.internal:8091。

我已允许 http 流量并允许访问网络上的端口 80 和 8091。但我无法解决给定的地址。请注意，此 http 地址不是主节点实例的 IP 地址。

我已经跟随示例访问计算实例的 IP 地址。但是，我找不到在 GCE 上访问 hadoop 集群的单个节点的示例，它遵循这种形式http://CLUSTER_NAME-mcPROJECT_NAME.internal:8091。任何帮助，将不胜感激。谢谢你。

我们的客户正在使用 oryx 编辑器在浏览器中渲染 bpmn。现在他们要求我捕获 Bpmn 图的图像并保存。java或javascript中是否有任何东西可以将BPMN更改为jpeg，svg格式。

请告诉我我该怎么做

提前致谢

我有一个 CDH5.5 安装，我想在我的虚拟机中运行一些 oryx2 示例。

我已经从github成功下载并编译了oryx2。我已将示例应用程序复制到放置 oryx-run.sh 的 ORYX_HOME/deploy/bin 文件夹中。我还添加了 wordcount-example.conf 并从 als 添加了一个 oryx.conf 文件（我在其中指出了我的 kafka-brokers 和 zk-servers）。

我尝试设置 Kafka 和/或运行一些示例，但总是遇到相同的错误：

我尝试将 kafka 脚本复制到同一个 oryx-run 脚本文件夹，但不幸的是得到了同样的错误。

任何想法？

问候。

问题： 使用 ALS 示例启动 oryx 服务层时，出现以下异常：

上下文：我在 docker 容器中的 CDH 5.7 上运行 - 所有 jar 都在预期的位置，正如计算类路径所建议的那样，并且 kafka (0.8.2.0) 已启动并运行所需的主题：

配置：

示例启动命令： /oryx-run.sh serving --conf als-example.conf --app-jar oryx-serving-2.1.2.jar 或 /oryx-run.sh serving --conf als-example.conf --app-jar example.jar

任何建议将不胜感激 ：-）

我正在使用angular4。

当返回 json 或返回 SVG 时，当对远程服务器进行休息调用时，我一直在控制台中得到这个。

这并不总是发生。但它确实发生了。

有谁知道这是什么原因造成的？

与SVG有关吗？

遵循所有支持的数据库后端的 Django 3.1指南…… https://docs.djangoproject.com/en/3.1/releases/3.1/#jsonfield-for-all-supported-database-backendsJSONField

… 以错误结束Azure Web App：

Requirements.txt文件指定 Django >= 3.1：

App Service Built安慰：

Oryx安慰：