我是一个新的 Clojure/Cascalog 用户,试图迁移一些 pig 脚本,但我经常在 repl 中收到如下错误。
FlowException 本地步骤失败 cascading.flow.planner.FlowStepJob.blockOnJob (FlowStepJob.java:191)
“with-debug”提供了更多信息,但仍然没有问题的根本原因。关于如何改进这一点的任何想法?
我同意堆栈跟踪有时非常无用。我可以建议的一件事是编写单元测试:http ://sritchie.github.com/2011/09/30/testing-cascalog-with-midje.html这大大缩小了您的实际问题所在。
如果您的查询适用于基本情况但在大数据上失败,您可以添加一个陷阱,以查看导致失败的输入:
(<- .... (:trap (hfs-textline "s3://.../errors" :sinkmode :replace)))