1

我正在尝试使用 PySpark 连接到 SQL Server 数据库，如下所示：

from pyspark.sql import SparkSession
import traceback

def connect_and_read(spark: SparkSession):
    url = 'jdbc:sqlserver://DUMMY1234.DUMMY.COM\DUMMY1234;databaseName=Dummy_DB;encrypt=false'
    driver = 'com.microsoft.sqlserver.jdbc.SQLServerDriver'
    try:
        dataframe = spark.read.format('jdbc').option('url', url). \
            option('driver', driver). \
            option('user', 'username'). \
            option('password', 'password'). \
            option('dbtable', 'TABLENAME'). \
            load()
        print(f'Count: {dataframe.count()}')
        dataframe.take(10)
    except Exception as ex:
        traceback.print_exc(type(ex), ex, ex.__traceback__)
    pass


if __name__ == '__main__':
    spark = SparkSession.builder.master('yarn').config('spark.app.name', 'read_data_sqlserver').config('spark.driver.extraClassPath', 'path_to_/mssql-jdbc-9.2.0.jre8.jar').config('spark.driver.extraClassPath', 'path_to_/spark-mssql-connector-1.0.1.jar').getOrCreate()
    connect_and_read(spark)

我正在从 Google Cloud Platform 运行此代码。我有一个 Dataproc 实例，我在其中为此操作创建了一个集群并在那里提交我的作业。作业失败，但有以下异常：

py4j.protocol.Py4JJavaError: 调用 o70.load 时出错。
: com.microsoft.sqlserver.jdbc.SQLServerException: 驱动程序无法使用安全套接字层 (SSL) 加密建立与 SQL Server 的安全连接。错误：“连接重置 ClientConnectionId:1223412f-9879702-wfwd-134qq-2143d123e1q”。

在 com.microsoft.sqlserver.jdbc.SQLServerConnection.terminate(SQLServerConnection.java:3208)
在 com.microsoft.sqlserver.jdbc.TDSChannel.enableSSL(IOBuffer.java:1916)
在 com.microsoft.sqlserver.jdbc.SQLServerConnection.connectHelper (SQLServerConnection.java:2760)
在 com.microsoft.sqlserver.jdbc.SQLServerConnection.login(SQLServerConnection.java:2418) 在 com.microsoft.sqlserver.jdbc.SQLServerConnection.connectInternal(SQLServerConnection.java:2265) 在 com.microsoft.sqlserver.jdbc.SQLServerConnection.connect (SQLServerConnection.java:1291) at com.microsoft.sqlserver.jdbc.SQLServerDriver.connect(SQLServerDriver.java:881) at java.lang.Thread.run(Thread.java:748) 原因：java.io.IOException：连接重置ClientConnectionId：1223412f-9879702-wfwd-134qq-2143d123e1q。在 com.microsoft.sqlserver.jdbc.TDSChannel$SSLHandshakeInputStream.readInternal(IOBuffer.java:862) 在 com.microsoft.sqlserver.jdbc.TDSChannel$SSLHandshakeInputStream.read(IOBuffer.java:849) 在 com.microsoft.sqlserver.jdbc .TDSChannel$ProxyInputStream.readInternal(IOBuffer.java:1019) 在 com.microsoft.sqlserver.jdbc.TDSChannel$ProxyInputStream。

回溯（最近一次通话最后）：

文件“/tmp/portw/pattern.py”，第 24 行，在
connect_and_read(spark)

文件“/tmp/portw/pattern.py”，第 18 行，在 connect_and_read
traceback.print_exc(type(ex), ex, ex. traceback )

文件“/opt/conda/default/lib/python3.8/traceback.py”，第 163 行，在 print_exc
print_exception(*sys.exc_info(), limit=limit, file=file, chain=chain)

文件“/opt/conda/default/lib/python3.8/traceback.py”，第 103
行，在 TracebackException 中的 print_exception 行（

文件“/opt/conda/default/lib/python3.8/traceback.py”，第 509 行，在init
self.stack = StackSummary.extract(


如果限制> = 0 ，则提取文件“/opt/conda/default/lib/python3.8/traceback.py”，第 340 行：

TypeError: 'type' 和 'int' 的实例之间不支持 '>='

21/02/09 13:59:59 信息 org.sparkproject.jetty.server.AbstractConnector: 停止 Spark@1aa73a6d{HTTP/1.1, (http/1.1)}

早些时候，该 URL 不包含encrypt=false，我在查看了一些参考资料后添加了它。

我可以用纯 Python 代码连接到我的 API 的同一主机，但不能在 Spark 中连接。

谁能让我知道我在这里犯了什么错误以及如何纠正它。

任何帮助表示赞赏。

4

0 回答 0