2

我正在使用 Power Bi 桌面应用程序中的“spark”连接器连接到使用“HTTP”连接模式并启用“SSL”和“Direct Query”选项的 spark thrift 服务器。

在此处输入图像描述

连接成功，但是，Power Bi 应用程序和 Spark Thrift 服务器之间的每次通信（例如身份验证、加载元数据、加载特定表等）都有大约 10 分钟的延迟时间。数据的来源是“Hive Server2”。

我在“hive-default.xml”中的 Spark Thrift 配置如下：

<property>
    <name>hive.server2.authentication</name>
    <value>PAM</value>
</property>
<property>
    <name>hive.server2.authentication.pam.services</name>
    <value>login,sudo,sshd</value>
</property>
<property>
    <name>hive.server2.use.SSL</name>
    <value>true</value>
</property>
<property>
    <name>hive.server2.keystore.path</name>
    <value>************</value>
</property>
<property>
    <name>hive.server2.keystore.password</name>
    <value>************</value>
</property>
<property>
    <name>hive.server2.transport.mode</name>
    <value>http</value>
</property>
<property>
    <name>hive.server2.thrift.http.port</name>
    <value>10001</value>
</property>
<property>
     <name>hive.server2.thrift.http.path</name>
     <value>cliservice</value>
</property>

首先，我怀疑“SSL”加密会减慢通信速度，我禁用了它，但问题仍然存在。因此，我得出结论，这与这个问题无关。

关于如何提高通信速度的任何想法？

注意：我测试了使用启用“HTTP”模式和“SSL”加密的“beeline”命令行工具连接到 Spark Thrift 服务器，它运行得非常快，所以我也消除了任何网络延迟问题的可能性。

4

0 回答 0