apache-spark - 连续处理模式和python udf

Question

Spark 2.4.0 是否支持具有连续处理模式的 Python UDF？

在我的简单代码中，我从一个 kafka 主题中消费，每行进行一些简单的处理（基本上向 json 消息添加一个虚拟字段）并写出另一个主题。

但是，当我使用连续模式触发时，我在输出主题中看不到任何消息。如果我不使用 python udf，那么它工作正常。

编辑：这个错误报告（与这篇文章无关）报告缺乏支持。

Answer 1

虽然我自己没有试过，但我相信没有。文档列出了支持的操作；udf 不在列表中。