1

我试图只获取 colADD 包含非字母数字字符的那些行。

代码 ：

from pyspark.sql import SparkSession
spark = SparkSession \
     .builder \
     .appName("Test") \
     .getOrCreate()

data = spark.read.csv("Customers");



data.registerTempTable("data");
spark.sql("SELECT colADD from data WHERE colADD REGEXP '^[A-Za-z0-9]+$'; ");

错误：

pyspark.sql.utils.ParseException: u"\nextraneous input ';' 
expecting <EOF>(line 1, pos 56)\n\n== SQL ==\nSELECT CNME from data WHERE CNME REGEXP '^[A-Za-z0-9]+$';

请帮忙，我错过了什么。

4

2 回答 2

0

火花用这个

spark.sql("SELECT col2 from test WHERE col2 REGEXP '^[A-Za-z0-9]*\\-' ").show
于 2019-09-24T10:01:28.100 回答
0

请注意使用了 pyspark - 但只是删除;- 似乎不需要。

于 2019-09-24T07:47:21.230 回答