2

自昨天 19/11/2018 更新 Cloud Dataprep 以来，我每次使用函数 MAX() 时都会遇到错误，无论是单独使用还是在枢轴中使用。

一些注意事项：

  • 我在另一个数据集上使用了 MAX 函数，它正在工作。（所以 max() 有效）
  • 我昨天更新dataprep之前没有这个问题，流程正常。
  • 我尝试了很多次来编辑配方以隔离问题，但似乎是 MAX() 函数
  • 我使用 MAX() 的列是 INT 类型。我试图在使用 MAX() 之前转换 INT-> FLOAT -> INT 以确保它是 INT 但一直遇到同样的问题

这是日志

java.lang.ClassCastException: java.lang.Long cannot be cast to java.lang.Double
    at com.trifacta.google.dataflow.functions.MaxCombineFn.binaryOperation(MaxCombineFn.java:18)
    at com.trifacta.google.dataflow.functions.BinaryOperationCombineFn.addInput(BinaryOperationCombineFn.java:60)
    at org.apache.beam.sdk.transforms.CombineFns$ComposedCombineFn.addInput(CombineFns.java:295)
    at org.apache.beam.sdk.transforms.CombineFns$ComposedCombineFn.addInput(CombineFns.java:212)
    at org.apache.beam.runners.core.GlobalCombineFnRunners$CombineFnRunner.addInput(GlobalCombineFnRunners.java:109)
    at com.google.cloud.dataflow.worker.PartialGroupByKeyParDoFns$ValueCombiner.add(PartialGroupByKeyParDoFns.java:163)
    at com.google.cloud.dataflow.worker.PartialGroupByKeyParDoFns$ValueCombiner.add(PartialGroupByKeyParDoFns.java:141)
    at com.google.cloud.dataflow.worker.util.common.worker.GroupingTables$CombiningGroupingTable$1.add(GroupingTables.java:385)
    at com.google.cloud.dataflow.worker.util.common.worker.GroupingTables$GroupingTableBase.put(GroupingTables.java:230)
    at com.google.cloud.dataflow.worker.util.common.worker.GroupingTables$GroupingTableBase.put(GroupingTables.java:210)
    at com.google.cloud.dataflow.worker.util.common.worker.SimplePartialGroupByKeyParDoFn.processElement(SimplePartialGroupByKeyParDoFn.java:35)
    at com.google.cloud.dataflow.worker.util.common.worker.ParDoOperation.process(ParDoOperation.java:43)
    at com.google.cloud.dataflow.worker.util.common.worker.OutputReceiver.process(OutputReceiver.java:48)
    at com.google.cloud.dataflow.worker.SimpleParDoFn$1.output(SimpleParDoFn.java:271)
    at org.apache.beam.runners.core.SimpleDoFnRunner.outputWindowedValue(SimpleDoFnRunner.java:309)
    at org.apache.beam.runners.core.SimpleDoFnRunner.access$700(SimpleDoFnRunner.java:77)
    at org.apache.beam.runners.core.SimpleDoFnRunner$DoFnProcessContext.output(SimpleDoFnRunner.java:621)
    at org.apache.beam.sdk.transforms.DoFnOutputReceivers$WindowedContextOutputReceiver.output(DoFnOutputReceivers.java:71)
    at org.apache.beam.sdk.transforms.MapElements$1.processElement(MapElements.java:128)
4

1 回答 1

0

我是谷歌云平台支持的。

这是19日更新后发生的内部问题（如你所说）。我们知道这一点，我们正在与 Trifacta 团队合作（因为这是由他们开发和管理的第三方产品）。

有一个关于此的公共问题，请随时添加信息或您认为需要的任何内容。

编辑：这个问题现在已经解决了，你现在可以试试告诉我它是否有效吗？

于 2018-11-20T15:58:35.240 回答