2

我正在尝试在我的DataFrameReader.jdbc()方法中使用谓词：

df = sqlContext.read.jdbc(
    url="jdbc:db2://bluemix05.bluforcloud.com:50001/BLUDB:user=****;password=****;sslConnection=true;",  
    table="GOSALES.BRANCH",
    predicates=['WHERE BRANCH_CODE=5']
).cache()

但是，我遇到以下错误：

---------------------------------------------------------------------------
Py4JError                                 Traceback (most recent call last)
...

Py4JError: An error occurred while calling o108.jdbc. Trace:
py4j.Py4JException: Method jdbc([class java.lang.String, class java.lang.String, class [Ljava.lang.Object;, class java.util.Properties]) does not exist

我应该如何向 jdbc 方法调用添加谓词？

4

1 回答 1

3

这里至少有两个问题。一个看起来像 PySpark 错误，据我所知，目前的主人已经解决了。

另一个问题是您使用的条件。应该根本'BRANCH_CODE = 5'不是'WHERE BRANCH_CODE = 5'。

最后，如果您仅使用单个谓词，则将其作为子查询传递更有意义，如下所示：

df = sqlContext.read.jdbc( 
    url = url,
    table = "(SELECT * FROM GOSALES.BRANCH WHERE BRANCH_CODE=5) AS tmp")

JDBC 查询为predicates每个谓词创建一个 JDBC 分区，因此更难调整。更不用说你必须记住可能的重复。

于 2015-11-25T06:11:26.720 回答