问题标签 [azure-hdinsight]

您好，我在 HDInsight Developer Preview 上从具有以下架构的日志文件中设置了 Hive 表：

我已经设置了 Hive DSN 和链接服务器

但是当我选择字符串（整数看起来不错）时，我得到：

链接服务器“hive-test”的 OLE DB 提供程序“MSDASQL”返回消息“不支持请求的转换。”。消息 7341，级别 16，状态 2，第 1 行无法从链接服务器“hive-test”的 OLE DB 提供程序“MSDASQL”获取列“[MSDASQL].sip”的当前行值。

有没有人有任何想法如何解决这个问题。

我正在尝试使用 HDInsight 在 Azure 上使用 Hadoop，但对如何在我新创建的集群上运行 Hadoop 作业有点困惑。到目前为止，我已经创建了一个 HDInsight 群集并将一个存储帐户附加到它。我还在本地 OS X 机器上安装了 azure-cli。

有一个关于启动 Hadoop 作业的 Azure 教程，但它使用 PowerShell，我认为它不能通过Azure 跨平台 CLI获得。

除了启动 Windows VirtualBox 之外，是否可以通过 Azure Web UI（例如 Amazon EMR 提供的）或通过与 OS X 兼容的其他命令行参数来创建作业？

谢谢

I am just getting started with HDInsight. I have some files stored in Azure storage that I want to copy into HDFS. I am trying to use fs -copyFromLocal. When I copy from the C Drive it works OK when I try to copy from blob storage using a wasb path to the blob container I get a wrong FS error. I suspect copy from Local is the wrong tool. How do I copy from a container to HDFS.

尝试将一些在本地和 Hortonworks 上完美运行的现有 PIG 脚本移植到 HDInsights，尝试通过 Pig 的 piggybank 读取 Avro 文件时出现类未找到错误（piggybank 包含在 HDInsight 发行版中）。

想知道是否有其他人让 Avro 在 HDInsight 中工作或有解决方法（例如，将哪个 jar 复制到哪里？）

更详细... 追踪这一点，我直接通过 Azure HDInsight 实例上的远程终端运行 PIG。

我看到的错误是： java.lang.ClassNotFoundException: org.json.simple.parser.ParseException

我认为这是https://code.google.com/p/json-simple/的 json-simple 库

我尝试将它添加到 HDInsight VM 中的几个位置（并在 PIG 中显式注册库），但仍然出现错误。

该错误很容易通过 RDP 重现到 HDinsight Azure 实例桌面上的 Hadoop 命令行提示符中：

从细节开始 PIG ...

使用 AvroStorage 输入任何行。例如

获得一个例外...

加载数据会产生以下错误：

失败：语义分析错误：第 1:18 行路径不合法“asv://hivetest@mystorageaccount.blob.core.windows.net/foldername”：移动自：asv://hivetest@mystorageaccount.blob。 core.windows.net/foldername 到：asv://hdi1@hdinsightstorageaccount.blob.core.windows.net/hive/warehouse/test1 无效。请检查参数“default.fs.name”和“hive.metastore.warehouse.dir”的值是否不冲突。

该容器hivetest不是我的默认 HDInsight 容器。它甚至位于不同的存储帐户上。但是，问题可能不在于帐户凭据，因为我已编辑core-site.xml包含mystorageaccount.

如何从非默认容器加载数据？

我正在使用此示例从 C# 运行 Hive 查询。我收到以下错误：

我正在尝试在 Windows 上使用 Flume（使用 HDInsight 预览版）。我想使用假脱机目录将文件推送到 HDFS。

这是我的配置

这是我的脚本

但我不断收到错误

我从来没有真正使用过 Java，所以我猜这是一个配置问题，但我完全被卡住了。干杯。

编辑这是水槽 lib 目录的内容

C:\Hadoop\flume2\lib 目录

C:\用户\克里斯>

我正在尝试使用Linq to Hive从 .NET 启动 Hive 查询。

挑战在于查询应该在不在默认 HDInsight 容器中的外部表上运行，因此我已将容器的凭据添加到core-site.xml并重新启动 Hive 的守护进程。

但是，我收到以下错误：

容器...帐户中...未找到，我们无法使用匿名凭据创建它。

这是我的代码：

连接成功并创建了 Hive 作业（我什至可以看到带有查询的 HQL 文件），但 Hive 作业将上述错误写入 stderr。

我已经尝试解决这个问题几个小时，改变这个和那个，我什WebHCatHttpClient至尝试过代替 Linq，但无济于事......有什么想法吗？

我已登录到 HDInsight 远程桌面计算机，并且在 Hadoop 控制台上。但是当我输入 Hive 时，我得到命令无法识别，尽管它适用于我的开发人员预览版。我是否没有正确配置我的 HDinsight 集群。任何指针将不胜感激。

I'm trying to use the Use-AzureHDInsightCluster powershell cmdlet

but I get the following error. Not sure where to start as I'm new to this.

EDIT I've added the debug flag and I get a little more information