0

我正在使用 CDH4，我正在尝试使用 JOCL 从映射器类的 cleanup() 方法访问 GPU。（注意：我的普通代码（没有 map reduce）在 GPU 上运行良好）。

当我执行我的 map-reduce 代码时，它会抛出一个错误（如下所示）。

attempt_201309171647_0021_m_000000_1: No protocol specified
attempt_201309171647_0021_m_000000_1: No protocol specified
13/09/20 18:03:01 INFO mapred.JobClient: Task Id : attempt_201309171647_0021_m_000000_2, Status : FAILED
org.jocl.CLException: CL_DEVICE_NOT_FOUND
    at org.jocl.CL.checkResult(CL.java:569)
    at org.jocl.CL.clGetDeviceIDs(CL.java:2239)
    at com.testMR.jocl.WordCountMapper.cleanup(WordCountMapper.java:106)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:142)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:672)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:330)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
    at org.apache.hadoop.mapred.Child.main(Child.java:262)
******************************************************************************

每个地图任务都会引发错误“未指定协议”。这是什么意思 ？映射器类中使用的协议是什么？

问候

4

1 回答 1

0

操作系统的图形设备有问题。

我们解决了:-)

我们遇到的问题是在 Hadoop 上运行的 AMD OpenCL 代码。MapReduce 代码无权访问 GPU 卡。它需要 X-server 提供的 GUI 服务来使用 GPU 计算资源。

据我了解，AMD OpenCL 代码（对于 root 以外的用户）不能在没有访问 X 服务器（http://en.wikipedia.org/wiki/X_Window_System）的情况下运行

根据这个线程http://devgurus.amd.com/thread/160838 AMD 正在努力让 OpenCL 在没有 X-server 的情况下工作。

我发现让 OpenCL 代码在 Hadoop 上运行的解决方案改编自这个线程http://devgurus.amd.com/message/1284840，它建议了让 OpenCL 代码在没有 GUI 的情况下通过 ssh 登录运行的步骤。

以下是我遵循的步骤：

  1. 使用 'chsh lightdm' 命令编辑 'lightdm' 用户的 shell 并将其设置为 /bin/bash

    $sudo chsh lightdm

    当它提示时，输入：/bin/bash

  2. 打开 /etc/rc.local 并在 'exit 0' 之前添加以下行。

    su -l lightdm -c "sleep 30 ; export DISPLAY=:0 ; xhost +local:"

  3. 创建一个文件 /etc/profile.d/compute.sh 并在其中添加以下内容（并执行 'chmod 755 /etc/profile.d/compute.sh' ）：

    #!/bin/sh

export COMPUTE=:0

#export DISPLAY=:0

#export GPU_MAX_ALLOC_PRCENT=100

#export GPU_MAX_HEAP_SIZE=100

if [ ! -z "$DISPLAY" ]; then

    xhost +local:

fi

  4. 如果此设置不起作用，上面注释掉的条目用于测试其他东西，但对我们来说它有效

  5. 授予上述脚本的权限

    $sudo chmod 755 /etc/profile.d/compute.sh

  6. 如果从 lightdm 登录/注销，X 设置会重置，因此将以下内容添加到 /etc/lightdm/lightdm.conf

    greeter-show-manual-login=true

greeter-setup-script=/etc/profile.d/compute.sh

session-setup-script=/etc/profile.d/compute.sh

  7. 重新启动系统，以便为所有用户（包括 mapred）设置环境变量，现在我们可以从 Hadoop 运行 OpenCL 代码

于 2013-09-24T10:23:18.030 回答