csv - csv 在 pig 中读取，csv 文件包含带引号的逗号

Question

所以我的数据看起来像这样

asdf, asdf, "adsf,qwef", asdf 

当我使用猪读取该数据时

PigStorage(',')

它将“adsf，qwef”存储为两个数据，并将其存储为

{ "adsf } { qwef" } 

我希望将引号视为单个数据。

我应该怎么办？

我试图写一个猪脚本来做到这一点。

Answer 1

您应该使用 CSVLoader：

data = LOAD 'my.csv' USING org.apache.pig.piggybank.storage.CSVExcelStorage() 
    AS (...);

其中 ... 是标识符。

注意：您必须先注册 Piggybank。详细信息：https ://cwiki.apache.org/confluence/display/PIG/PiggyBank