问题标签 [azure-hdinsight]

我在 Windows Azure 上创建了一个新的存储帐户并预配了一个 HDInsight 群集。但是，当我尝试在与集群相关的 Windows Azure Powershell 上运行任何命令时，我收到以下错误：

我对 HDInsight 完全陌生，但我在此命令之前运行了一个脚本来添加 Azure 帐户，并从此页面创建订阅名称、存储帐户名称和容器名称的变量。

你知道这个错误是什么意思吗？以及如何解决？关注此网站后，我正在尝试使用 Pig 命令运行脚本。

我需要设置计划任务，目的是将大量数据从本地数据中心复制/移动到 Windows Azure Blob 存储。

我探索的选项是 WebHDFS 和 Flume（HDInsight 目前似乎不支持后者）。

将非结构化文件从数据中心传输到 Windows Azure Blob 存储的最有效方法是什么？

我在 Windows 8 系统中安装了单节点HDInsight Emulator 。我想以编程方式在 HDInsight Emulator 中提交配置单元查询。请建议我使用C#提交 Hive 查询的一些方法。

创建新的 HDInsight 群集后，当我提供身份验证信息并尝试通过 https://{Cluster Name}.azurehdinsight.net/ 访问 HDInsight Web 门户时收到以下错误

403 - 禁止：访问被拒绝。

尝试重新创建集群、不同浏览器、清除浏览器缓存但无法登录。请建议。

我是 HDInsight 的新手。我想学习和练习机器学习，HDInsight 正是我想要的，但似乎没有直接的 API 可以用于 mahout。由于 mahout 推荐本质上会转化为 mapredure 作业，所以我按照 Windows Azure 文档中的一些 mapreduce 示例编写了以下代码：</p>

我已经将“mahout-core-0.9-job.jar”上传到指定 Azure blob 存储容器中的 /example/jars。

但我收到以下错误消息：

14/04/03 12:04:28 错误security.UserGroupInformation：PriviledgedActionException as：johnny 原因：java.io.IOException：异常读取文件：/c:/apps/temp/hdfs/mapred/local/taskTracker/johnny/jobcache /job_201404031203_0001/jobToken= java.security.PrivilegedActionException: java.io.IOException: 异常读取文件：/c:/apps/temp/hdfs/mapred/local/taskTracker/johnny/jobcache/job_201404031203_0001/jobToken= 在 java.security.AccessController.doPrivileged(Native方法）在 javax.security.auth.Subject.doAs(Subject.java:415) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1233) 在 org.apache.hadoop.mapred.JobClient.submitJobInternal (JobClient.java:951) 在 org.apache.hadoop.mapreduce.Job.submit(Job.java:550) 在 org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:580) 在 org.apache。 mahout.cf.taste.hadoop.preparation.PreparePreferenceMatrixJob.run(PreparePreferenceMatrixJob.java:77) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 在 org.apache.mahout.cf.taste。 hadoop.项目。RecommenderJob.run(RecommenderJob.java:164) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) at org.apache.mahout.cf.taste.hadoop.item.RecommenderJob.main(RecommenderJob. java:322) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang .reflect.Method.invoke(Method.java:601) at org.apache.hadoop.util.RunJar.main(RunJar.java:160) 原因：java.io.IOException: 异常读取文件：/c:/apps /temp/hdfs/mapred/local/taskTracker/johnny/jobcache/job_201404031203_0001/jobToken= 在 org.apache.hadoop.security.Credentials.readTokenStorageFile(Credentials.java:136) 在 org.apache.hadoop.mapred.JobClient。readTokensFromFiles(JobClient.java:2149) at org.apache.hadoop.mapred.JobClient.populateTokenCache(JobClient.java:2185) at org.apache.hadoop.mapred.JobClient.access$300(JobClient.java:179) at org. apache.hadoop.mapred.JobClient$2.run(JobClient.java:964) at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:951) ... 16 更多原因：java.io.FileNotFoundException：文件文件：/c:/apps/temp/hdfs/mapred/local/taskTracker/johnny/jobcache/job_201404031203_0001/jobToken=不存在. 在 org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:427) 在 org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:254) 在 org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker .(ChecksumFileSystem.java:125) 在 org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:283) 在 org.apache.hadoop.fs.FileSystem.open(FileSystem.java:436) 在 org.apache .hadoop.security.Credentials.readTokenStorageFile(Credentials.java:130) ... 21 更多线程“主”java.io.IOException 中的异常：异常读取文件：/c:/apps/temp/hdfs/mapred/local/ taskTracker/johnny/jobcache/job_201404031203_0001/jobToken= 在 org.apache.hadoop.security.Credentials.readTokenStorageFile(Credentials.java:136) 在 org.apache.hadoop.mapred.JobClient。java.io.FileNotFoundException：文件文件：/c:/apps/temp/hdfs/mapred/local/taskTracker/johnny/jobcache/job_201404031203_0001/jobToken=不存在。在 org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:427) 在 org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:254) 在 org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker .(ChecksumFileSystem.java:125) 在 org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:283) 在 org.apache.hadoop.fs.FileSystem.open(FileSystem.java:436) 在 org.apache .hadoop.security.Credentials.readTokenStorageFile(Credentials.java:130) ... 21 更多强制关闭观察者/保持活动线程池 Templeton：作业失败，退出代码为 1

在我在互联网上搜索后，似乎应该对 mapred-site.xml 或其他 hadoop 配置文件进行一些更改。但我对 Apache hadoop 完全陌生，对 Linux 和 Java 了解不多。

任何帮助或指导将不胜感激。

我创建了一个 hdinsight 集群配置，然后通过命令“azure hdinsight cluster create --config myhdinsightconf”创建集群，但报告了

info：执行命令 hdinsight cluster create
/error：无法调用未定义
信息的方法“过滤器”：错误信息已记录到 azure.err
错误：hdinsight cluster create 命令失败

azure.err 文件

节点-v v0.10.26

在没有配置文件的情况下创建时报告相同的错误。任何想法？

"azure hdinsight cluster create --help" does not appears having any option to choose specific version of HDInsight. Is there API level support?

Invoke-RestMethod : HTTP Status 400 - type 状态报告消息描述 客户端发送的请求在语法上不正确。

我们正在用 C# 编写的 4 节点 HDInsight 群集上运行 M/R 作业。其中一个 Mapper 类使用 Azure 表存储来应用业务特定规则。

如果没有创建 CloudTable、CloudTableClient 和 CloudStorageAccount 对象，则 M/R 作业可以正常运行。

但是，在为其添加对象引用时，它会给出错误并且作业执行会停止。部分代码片段如下：

如上所述，即使没有创建对象引用，Mapper 的 ctor 中的代码也已被注释为执行错误。

从 MapReduceResult 对象 (Info.ExitCode) 收到的错误代码为 1，表示 M/R 代码存在问题。但是，其余代码运行得非常好，并且在没有创建上述引用对象时会产生正确的输出。

对此的任何帮助将不胜感激。如果需要，将提供更多详细信息。

谢谢和问候，苏霍

我正在考虑在 Azure Blob 存储上加载 Hive 和数据的 HDInsight。
有历史数据和变化数据的组合。
Update中提到的解决方案，Hive 中的 SET 选项是否也适用于 blob 存储？
下面的 Hive 语句更改 blob 存储中的数据，这也是我的要求吗？