我有一个火花数据框 TABLE1,其中一列有 100000 行,每行包含一个长度相同的字符串
AA105LONDEN 03162017045262017 16953563ABCDEF
我想根据下面分隔的行将每一行分成多列,包括作为单独列的空白。
AA|105|LONDEN| |0316|2017|04526|2017| |1695|3563|ABCDEF
目前我正在尝试将 DBI 包与如下所示的代码一起使用:
library(DBI)
newdataframe <- dbGetQuery(sc,"INSERT INTO TABLE2
(COLUMN1, COLUMN2, COLUMN3, COLUMN4)
SELECT SUBSTR(TRIM(COLUMN_NAME),1,3),
SUBSTR(TRIM(COLUMN_NAME),4,8),
SUBSTR(TRIM(COLUMN_NAME),9,12),
SUBSTR(TRIM(COLUMN_NAME),12,15)
FROM TABLE1
WHERE COLUMN_NAME IS NOT NULL")
我有一个火花数据框 TABLE1,其中一列有 100000 行,每行包含一个长度相同的字符串
AA105LONDEN 03162017045262017 16953563ABCDEF
我想根据下面分隔的行将每一行分成多列,包括作为单独列的空白。
AA|105|LONDEN| |0316|2017|04526|2017| |1695|3563|ABCDEF
目前我正在尝试将 DBI 包与如下所示的代码一起使用:
library(DBI)
newdataframe <- dbGetQuery(sc,"INSERT INTO TABLE2
(COLUMN1, COLUMN2, COLUMN3, COLUMN4)
SELECT SUBSTR(TRIM(COLUMN_NAME),1,3),
SUBSTR(TRIM(COLUMN_NAME),4,8),
SUBSTR(TRIM(COLUMN_NAME),9,12),
SUBSTR(TRIM(COLUMN_NAME),12,15)
FROM TABLE1
WHERE COLUMN_NAME IS NOT NULL")
然而,这似乎不起作用。此外,即使它这样做了,它也只是返回一个 R 数据帧,我需要它在 spark 数据帧中工作。我正在寻找除 SQL 之外的替代建议,或者寻找适用于 spark 并返回解析的 Spark 数据帧的正确语法,然后我可以在该数据帧上执行 ML。有任何想法吗。
提前致谢。