问题标签 [hadoop-plugins]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - 在 linux 64 位机器上安装 hadoop-2.2.0 时出现问题
使用此链接，尝试在 ubuntu 12.04（64 位机器）中安装 Hadoop 版本 - 2.2.0（单节点集群）
http://bigdatahandler.com/hadoop-hdfs/installing-single-node-hadoop-2-2-0-on-ubuntu/
使用以下命令通过 namenode 格式化 hdfs 文件系统
当我这样做时，得到以下问题，
14/08/07 10:38:39 致命的 namenode.NameNode：namenode 中的异常加入 java.lang.RuntimeException：org.xml.sax.SAXParseException；systemId：文件：/usr/local/hadoop/etc/hadoop/mapred-site.xml；行号：27；列号：1；结尾部分不允许有内容。
我需要做什么才能解决以下问题？
Mapred-site.xml：
hadoop - 在 hadoop -1.2.1 中运行 hadoop 管道时出现问题
在像上面这样几次失败尝试后，它终止：
注意：我已经在我的电脑上安装了 libssl.so ......但它仍然抛出错误......
我需要在哪里更改配置文件才能使其正常工作？
有人能帮助我吗？
java - 作业因大量小数据而失败：java.io.EOFException
我遇到了一个奇怪的问题，如果有大量输入文件（例如 1500 个输入文件），我得到了一个 Hive MR 作业，它总是会失败，但如果只有少量输入文件（例如 50 个输入文件），它总是会成功。
根据下面附上的运行状态，我发现所有reducer都失败了，错误是EOFException，这让我更加困惑。
有什么建议可以解决这个问题吗？
来自作业系统日志的日志：
hadoop - Hadoop UI Web 界面
我有一个小问题。我需要将 Hadoop Web 界面与我们的 Web 应用程序集成。我只需要一个 Hadoop 接口，我们可以在其中运行一些 hadoop 命令，例如
为此需要一个网络界面。我已经安装了cloudera manager。我正在使用这个版本：Cloudera Enterprise Data Hub Edition Trial 5.1.1（#82 由 jenkins 在 20140725-1608 git 上构建：cb9ebb729efc7929e1968b23dc6cf776086e20a7）
我可以知道如何获得这个网络界面。我已经配置了 Oozie Web 控制台。
任何人请建议如何实现这个..
hadoop - Ambari 安装脚本位置
我正在使用 Apache Ambari 设置 HDP 2.1 集群。所有服务器都运行 SLES 11 SP3。如果由于某些依赖项而选择安装 Ganglia，则安装失败：
显然，Regex 选择了 5.3 版本，但可以使用 5.2 版本。所以我的问题是：安装脚本存储在哪里，Ambari 在这里运行？我想用正确版本的包替换正则表达式。
hadoop - 我们可以为单个任务读取 Hadoop 中的内置计数器吗
我们能否以周期性的方式（比如每 500 毫秒或 1 秒）读取 Hadoop 中的内置计数器以用于单个任务并记录在文件中。如果我们能做到这一点，那么如何做到这一点？
如何获取单个任务 pid？
hadoop - 如何为 Eclipse 构建 hadoop 2.4.0 插件
我想为 hadoop 2.4.0 版本构建 hadoop eclipse 插件。那么如何构建这个插件呢？我尝试了几种使用 apache ant 的选项，但这并没有解决我的问题。
hadoop - 使用 SORT 时出现 Apache Pig Latin 语法错误
你好程序员好吗？
我正在编程并运行 pig 命令在我的代码中返回一个语法错误，我无法解决。
下面我将发布代码和引发的错误。
显然错误发生在第 41 行的语法中，即 sortedResults
代码：
这是我播放包含在我的代码中的文件的回报。
错误：
hadoop - 错误 1128：找不到字段 dryTemp
我的猪运行代码温度和我的错误，把代码和错误放在下面，以方便理解我的问题发生了。
错误在第 38 行第 15 列，试图删除 dryTemp，但也给出了另一个错误。
代码：
放下错误，他有点大，对猪还是不太了解，我还在学习，我相信错误与无法识别但不知道修复它的变量类型有关希望能帮助我.
错误：
以下是文件 201211 hourly.txt 的几行：
WBAN,Date,Time,StationType,SkyCondition,SkyConditionFlag,Visibility,VisibilityFlag,WeatherType,WeatherTypeFlag,DryBulbFarenheit,DryBulbFarenheitFlag,DryBulbCelsius,DryBulbCelsiusFlag,WetBulbFarenheit,WetBulbFarenheitFlag,WetBulbCelsius,WetBulbCelsiusFlag,DewPointFarenheit,DewPointFarenheitFlag,DewPointCelsius,DewPointCelsiusFlag,RelativeHumidity,RelativeHumidityFlag,WindSpeed, WindSpeedFlag,WindDirection,WindDirectionFlag,ValueForWindCharacter,ValueForWindCharacterFlag,StationPressure,StationPressureFlag,PressureTendency,PressureTendencyFlag,PressureChange,PressureChangeFlag,SeaLevelPressure,SeaLevelPressureFlag,RecordType,RecordTypeFlag,HourlyPrecip,HourlyPrecipFlag,Altimeter,AltimeterFlag 03011,20120101,0015,0,CLR, ,10.00, , , ,23, ,-5.0, ,15, ,-9.5, ,-9, ,-23.0, , 24, , 5, ,120, , , ,21.70, , , , , ,M, ,AA, , , ,30.43, 03011,20120101,0035,0,CLR,,10.00, , , ,21, ,-6.0, ,14, ,-10.2, ,-9, ,-23.0, , 26, , 6, ,130, , , ,21.70, , , , , ,M, ,AA , , , ,30.43, 03011,20120101,0055,0,CLR, ,10.00, , , ,21, ,-6.0, ,13, ,-10.5, , -13, ,-25.0, , 21, , 0, , 000, , , ,21.71, , , , , ,M, ,AA, , , ,30.44, 03011,20120101,0115,0,CLR, ,10.00, , , ,21, ,-6.0, ,14, ,-10.1 , ,-8, ,-22.0, , 27, , 0, ,000, , , ,21.71, , , , , ,M, ,AA, , , ,30.44, 03011,20120101,0135,0,CLR, ,10.00 , , , ,21, ,-6.0, ,13, ,-10.4, , -11, ,-24.0, , 23, , 0, ,000, , , ,21.72, , , , , ,M, ,AA, , , ,30.45, 03011,20120101,0155,0,CLR, ,10.00, , , ,21, ,-6.0, ,13, ,-10.5, , -13, ,-25.0, , 21, , 6, ,130, , , ,21.72, , , , , ,M, ,AA, , , ,30.45, 03011,20120101,0215,0,CLR, ,10.00, , , ,21, ,-6.0, ,14, ,-10.2, , -9, ,-23.0, , 26, , 5, ,090, , , ,21.73, , , , , ,M, ,AA, , , ,30.46, 03011,20120101,0235,0,CLR, ,10.00, , , ,21, ,-6.0, ,14, ,-10.2,,-9, ,-23.0, , 26, , 6, ,120, , , ,21.74, , , , , ,M, ,AA, , , ,30.47, 03011,20120101,0255,0,CLR, ,10.00, , , ,21, ,-6.0, ,13, ,-10.4, , -11, ,-24.0, , 23, , 7, ,130, , , ,21.74, , , , , ,M, ,AA, , , ,30.48, 03011,20120101,0315,0,CLR, ,10.00, , , ,23, ,-5.0, ,15, ,-9.4, ,-8, ,-22.0, , 25, , 9, ,120, , , ,21.74, , , , , ,M, ,AA, , , ,30.47, 03011,20120101,0335,0,CLR, ,10.00, , , ,23, ,-5.0, ,15, ,-9.4, ,- 8, ,-22.0, , 25, , 8, ,120, , , ,21.74, , , , , ,M, ,AA, , , ,30.47, 03011,20120101,0355,0,CLR, ,10.00, , , ,21, ,-6.0, ,14, ,-10.2, ,-9, ,-23.0, , 26, , 7, ,120, , , ,21.73, , , , , ,M, ,AA, , , ,30.46 , 03011,20120101,0415,0,CLR, ,10.00, , , ,23, ,-5.0, ,14, ,-9.7, , -13, ,-25.0, , 19, , 7, ,130, , , , 21.73, , , , , ,M, ,AA, , , ,30.46,, , ,21, ,-6.0, ,13, ,-10.4, , -11, ,-24.0, , 23, , 7, ,130, , , ,21.74, , , , , ,M, ,AA, , , ,30.48, 03011,20120101,0315,0,CLR, ,10.00, , , ,23, ,-5.0, ,15, ,-9.4, ,-8, ,-22.0, , 25, , 9, ,120, , , ,21.74, , , , , ,M, ,AA, , , ,30.47, 03011,20120101,0335,0,CLR, ,10.00, , , ,23, ,-5.0, ,15, ,-9.4, ,- 8, ,-22.0, , 25, , 8, ,120, , , ,21.74, , , , , ,M, ,AA, , , ,30.47, 03011,20120101,0355,0,CLR, ,10.00, , , ,21, ,-6.0, ,14, ,-10.2, ,-9, ,-23.0, , 26, , 7, ,120, , , ,21.73, , , , , ,M, ,AA, , , ,30.46 , 03011,20120101,0415,0,CLR, ,10.00, , , ,23, ,-5.0, ,14, ,-9.7, , -13, ,-25.0, , 19, , 7, ,130, , , , 21.73, , , , , ,M, ,AA, , , ,30.46,, , ,21, ,-6.0, ,13, ,-10.4, , -11, ,-24.0, , 23, , 7, ,130, , , ,21.74, , , , , ,M, ,AA, , , ,30.48, 03011,20120101,0315,0,CLR, ,10.00, , , ,23, ,-5.0, ,15, ,-9.4, ,-8, ,-22.0, , 25, , 9, ,120, , , ,21.74, , , , , ,M, ,AA, , , ,30.47, 03011,20120101,0335,0,CLR, ,10.00, , , ,23, ,-5.0, ,15, ,-9.4, ,- 8, ,-22.0, , 25, , 8, ,120, , , ,21.74, , , , , ,M, ,AA, , , ,30.47, 03011,20120101,0355,0,CLR, ,10.00, , , ,21, ,-6.0, ,14, ,-10.2, ,-9, ,-23.0, , 26, , 7, ,120, , , ,21.73, , , , , ,M, ,AA, , , ,30.46 , 03011,20120101,0415,0,CLR, ,10.00, , , ,23, ,-5.0, ,14, ,-9.7, , -13, ,-25.0, , 19, , 7, ,130, , , , 21.73, , , , , ,M, ,AA, , , ,30.46,, ,M, ,AA, , , ,30.47, 03011,20120101,0335,0,CLR, ,10.00, , , ,23, ,-5.0, ,15, ,-9.4, ,-8, ,-22.0, , 25, , 8, ,120, , , ,21.74, , , , , ,M, ,AA, , , ,30.47, 03011,20120101,0355,0,CLR, ,10.00, , , ,21, ,-6.0, ,14, ,-10.2, ,-9, ,-23.0, , 26, , 7, ,120, , , ,21.73, , , , , ,M, ,AA, , , ,30.46, 03011,20120101,0415, 0,CLR, ,10.00, , , ,23, ,-5.0, ,14, ,-9.7, , -13, ,-25.0, , 19, , 7, ,130, , , ,21.73, , , , , , M, ,AA, , , ,30.46,, ,M, ,AA, , , ,30.47, 03011,20120101,0335,0,CLR, ,10.00, , , ,23, ,-5.0, ,15, ,-9.4, ,-8, ,-22.0, , 25, , 8, ,120, , , ,21.74, , , , , ,M, ,AA, , , ,30.47, 03011,20120101,0355,0,CLR, ,10.00, , , ,21, ,-6.0, ,14, ,-10.2, ,-9, ,-23.0, , 26, , 7, ,120, , , ,21.73, , , , , ,M, ,AA, , , ,30.46, 03011,20120101,0415, 0,CLR, ,10.00, , , ,23, ,-5.0, ,14, ,-9.7, , -13, ,-25.0, , 19, , 7, ,130, , , ,21.73, , , , , , M, ,AA, , , ,30.46,46,46,
hadoop - 使用自定义换行符加载 CSV
我有一个如下的 CSV，其中该行以“+++”而不是新行终止。如何通过在字符串“+++”存在的地方换行来加载 csv？
首先，我需要在新行或“+++”符号所在的行换行并加载数据。然后，再次使用第二列中的值 01 进行过滤。
预期输出：