问题标签 [beeline]

我正在尝试使用 HiveContext 从 spark 创建一个配置单元表，如下所示

但我收到以下错误消息

相同的查询在直线中成功运行。我无法找出为什么查询在 hive 中按预期工作但不是通过 spark sql 工作。你能告诉我出了什么问题吗？

我正在使用直线从配置单元中导出查询结果，这是我的命令：

这是我的查询：

但是我得到这样的结果，对于在列值中有我的字段分隔符（，）的字段：

注意^@。为什么会来？怎么能避免呢？那个角色是什么？如果是报价，我将拥有它，以便我可以删除查询中的连接。我试着玩--disableQuotingForSV=true/false。但这对我没有帮助。

现在我可以使用beeline来创建role，user每个user人都有自己的数据库使用admin角色来授予，但是我需要创建一个所有用户都可以在公共数据库中创建表的新数据库，如何创建这样的数据库？

用户不能在其他数据库中创建表，只能在自己的数据库下创建表。

下面对 4 节点集群中每个节点上的 /etc/dse/spark/hive-site.xml 进行了更改。

在运行 spark thrift 服务器和 spark-beeline 客户端的节点上设置以下 ENV 变量 export AWS_SECRET_ACCESS_KEY=****
export AWS_ACCESS_KEY_ID=*****

启动 Spark thrift 服务器，如下所示

使用 S3 存储桶从 Spark Beeline 创建了一个表作为源

我收到以下错误

注意：AWS 密钥是有效的，并且一直在使用其他 python 脚本

我以前使用过这个库没有问题，但是现在，在重新添加 JAR 后，我得到了这个错误。

由于我以前使用过它，我怀疑图书馆有什么问题。添加 JAR 文件时我是否忘记了其他步骤？谢谢你。

当我尝试在 beeline-hive 中执行上述命令时，我能够看到数据，但是中间有多个标题。谁能告诉我如何解决这个问题，只需要一个标题和数据。

+-------------------+------------+--+
| 帐号 | 风险箱 |
+-------------------+------------+--+
| 8498310230444304 | 2 |
| 8778104140754717 | 2 |
| 8155100513664825 | 2 |
| 8155100513664825 | 2 |
| 8155400040004812 | 2 |
| 8155200521190266 | 2 |
| 8155300210482543 | 2 |
| 8497202241094288 | 2 |
| 8155500010197049 | 2 |
+-------------------+------------+--+
| 帐号 | 风险箱 |
+-------------------+------------+--+
| 8155100030718781 | 2 |
| 8495444731138751 | 2 |
| 8498320015120250 | 2 |
| 8498330360083177 | 2 |
| 8155300210487112 | 2 |
| 8777701821146336 | 2 |
| 8497202461586765 | 2 |
| 8155400310837610 | 2 |

我在hive中配置了安全认证，我修改了

我可以使用 beeline connect jdbc:hive2://hdp1-nn02:10000/default 和用户名和密码，但是我可以在没有用户名和密码的情况下使用 beeline connect 访问数据库jdbc:hive2://。我知道jdbc:hive2://是嵌入模式，但是为什么嵌入模式没有授权？或者如何关闭嵌入模式？

我创建了一个Hadoop具有 1 个名称节点和 2 个数据节点的 3 节点集群。

我可以从 shell 执行读/写查询Hive，但不能直线。

我发现了许多与此问题相关的建议和答案。
在每个建议中，都提到了userX为每个单独的表授予权限。
但我不知道如何一劳永逸地为匿名用户设置权限。

为什么我在从直线或 Java 程序访问数据时让用户匿名？

我能够从beeline shell 和使用Java JDBC 连接读取数据。
但我无法在表中插入数据。

这是我的 jdbc 连接：jdbc:hive2://hadoop01:10000。

以下是我在插入请求时遇到的错误：

权限被拒绝：user=anonymous，access=WRITE，inode="/user/hive/warehouse/test_log/.hive-staging_hive_2017-10-07_06-54-36_347_6034469031019245441-1":hadoop:supergroup:drwxr-xr-x

因此，我尝试将 CSV 文件加载到直线中以进行一些简单的分析并开始使用 hadoop 套件。我正在使用以下命令 CREATE EXTERNAL TABLE IF NOT EXISTS babies( PseudoID_voorkeur INT, OpnameID INT, Specialisme VARCHAR(32), Opnamecategorie VARCHAR(32), OpnamecategorieOmschrijving VARCHAR(32), OpnametypeID VARCHAR(32), OpnametypeOmschrijving VARCHAR(32), OpnamesubtypeID VARCHAR(32), BehandelcategorieID_OPN VARCHAR(32), BehandelcategorieOmschr_OPN VARCHAR(32), BehandelcodeID VARCHAR(32), BehandelcodeOmschrijving VARCHAR(32), OpnamelocatieID VARCHAR(32), OpnamelocatieOmschrijving VARCHAR(32), AfdelingID_OPN VARCHAR(32), AfdelingOmschrijving_OPN VARCHAR(32), Behandelaar VARCHAR(32), Aanmelder VARCHAR(32), HerkomstID VARCHAR(32), HerkomstOmschrijving VARCHAR(32), Spoed_OPN INT, ScreeningstatusID_OPN VARCHAR(32), ScreeningstatusOmschrijving_OPN VARCHAR(32), OpnamestatusID_OPN INT, OpnamestatusOmschrijving_OPN VARCHAR(32), EersteOpname_OPN INT, GebruikOK_OPN INT, GewensteTermijn_OPN VARCHAR(32), Inschrijfdatum_OPN STRING, Wachtlijstdatum_OPN STRING, UitersteDatum_OPN STRING, GeplandeOpnamedatum_OPN STRING, GeplandeOpnametijd_OPN VARCHAR(32), GeplandeOntslagdatum_OPN STRING, GeplandeOntslagtijd_OPN VARCHAR(32), Oproepdatum_OPN STRING, Opnamedatum_OPN STRING, Opnametijd_OPN VARCHAR(32), Ontslagdatum_OPN STRING, Ontslagtijd_OPN VARCHAR(32), Annuleringsdatum_OPN STRING, Factureringsdatum_OPN STRING, Mutatiedatum_OPN STRING, Mutatietijd_OPN VARCHAR(32), VerwachteOpnameduur_OPN VARCHAR(32), BestemmingID VARCHAR(32), BestemmingOmschrijving VARCHAR(32), PseudoID_voorkeur1 INT, Aanvraagnummer INT, Broncode VARCHAR(32), Labgroep_naam VARCHAR(32), Labgroep_code INT, Afnamedatum STRING, Afnametijd VARCHAR(32), Afdeling VARCHAR(32), Aanvrager VARCHAR(32), Bepaling VARCHAR(32), Bepaling_omschrijving VARCHAR(32), Bepaling_materiaal VARCHAR(32), Uitslag_waarde VARCHAR(32), Uitslag_eenheid VARCHAR(32), Uitslag_grenswaarde_onder DOUBLE, Uitslag_grenswaarde_boven DOUBLE, Uitslag_grenswaarde_vlag VARCHAR(32), Uitslag_status VARCHAR(32), Zenddatum STRING, Zendtijd VARCHAR(32) )ROW FORMAT DELIMITED FIELDS TERMINATED BY "/073" LINES TERMINATED BY '\n' STORED AS TEXTFILE;

load data inpath '/user/cloudera/output/clean/neo.csv' overwrite into table babies;

尝试此操作时，我处理了 0 行，看到代码被截断为输出： Loading data to table default.babies Table default.babies stats: [numFiles=1, numRows=0, totalSize=738077097, rawDataSize=0] OK No rows affected (2.564 seconds)

有谁知道如何解决这个问题？CSV 文件由 ; 分隔 （ /073 代表，行以换行符结尾

以下 HQL 在 HDP 2.6.1 和 Hive 1.2.1000 上生成错误。是直线问题还是 Hive 版本？

错误

甚至 ALTER 命令也会给出相同的错误