hadoop - PIG - 我可以将结果 fs -ls 粗化成一个元组吗？

Question

我是猪新手。

在猪脚本中，我可以执行以下操作：

fs -ls

返回：

drwx------   - user group          0 2013-08-28 00:00 .Trash
drwx------   - user group          0 2013-08-02 19:19 .staging
...
...
...

有没有办法可以将结果粗fs -ls化成一个元组？

Answer 1

使用 Java jar 你可以很容易地做这样的事情：首先你应该在目录之外创建序列文件。然后在加载器中，您应该输入如下代码。然后使用此加载器加载序列文件，结果将如预期的那样。

在（Loader 的）getNext 方法中，您应该根据您的目的编写这样的代码

    ProcessBuilder scanProcess = new ProcessBuilder("strings",file_name);
    final Process process = scanProcess.start();
    InputStream is = process.getInputStream();
    InputStreamReader isr = new InputStreamReader(is);
    BufferedReader br = new BufferedReader(isr);
    String line,resLine="";
    while ((line = br.readLine()) != null)
    {
        if(!line.isEmpty())
        {
            resLine += line;
        }
    }
    protoTuple.add(resLine);
    return tupleFactory.newTuple(protoTuple);

在 resLine 中将存储命令执行的结果。对于传递命令行参数，您可以探索 ProcessBuilder 和 Process more