问题标签 [apache-flink]

After correctly setting up my project I need to read/import several .bsq files into my environment. I tried to use the env.readFile() method like this:

But I am not able to get a proper FileInputFormat. Since it is abstract I can't have my own instance. Should I extend the abstract class FileInputFormat and use my own extension to instantiate a FileInputFormat? Or is there another way I did not recognize?

我刚开始flink。我编写了以下代码并得到“数据源的输出导致错误：无法读取用户代码包装器”错误

有什么我做错了吗？

版本：Flink v 0.9.1（hadoop 1）不使用 hadoop：本地执行 shell：scala shell

代码：

注意：输入文件使用';' 作为分隔符

错误：

我正在运行以下代码并收到“错误：未找到：值订单”我无法找出原因。我究竟做错了什么？

版本：Flink v 0.9.1（hadoop 1）不使用 hadoop：本地执行 shell：scala shell

有人成功使用 Apache Flink 0.9 处理存储在 AWS S3 上的数据吗？我发现他们使用的是自己的 S3FileSystem 而不是来自 Hadoop 的一个......而且看起来它不起作用。我将以下路径放入 s3://bucket.s3.amazonaws.com/folder 失败，但出现以下异常：

java.io.IOException：无法建立与 Amazon S3 的连接：com.amazonaws.services.s3.model.AmazonS3Exception：我们计算的请求签名与您提供的签名不匹配。检查您的密钥和签名方法。（服务：Amazon S3；状态码：403；

我正在运行 Flink (0.10-SNAPSHOT) 的示例多元线性回归。我不知道如何提取权重（例如斜率和截距，beta0-beta1，你想怎么称呼它们）。我在 Scala 中不是超级老手，这可能是我的一半问题。

感谢任何人可以提供的任何帮助。

我正在使用 Flink Stream 处理 3G 网络（GPRS 隧道协议）中的数据流量日志。而且我在用户的用户会话中合成信息时遇到了麻烦。

例如：如何映射开始和结束一个会话。我不知道 Flink 流媒体是否适合处理这样的复杂协议？

p/s：
我们捕获 3G 网络中 SGSN 和 GGSN 之间交换的数据（使用带有 GTP-C/U 消息的 GTP 协议）。当 SGSN 发送CreateReq (TEID, Seq, IMSI, TEID_dl,TEID_data_dl)消息和 GGSN 响应CreateRsp(TEID_dl, Seq, TEID_ul, TEID_data_ul)消息时，会话开始。会话建立后，SGSN向GGSN发送的其他GTP-C消息（例如：UpdateReq、DeleteReq）使用TEID_ul，响应消息使用TEID_dl，GTP-U消息使用TEID_data_ul（SGSN -> GGSN）和TEID_data_dl（GGSN -> SGSN） ）。GTP-U 消息包含 AppID (facebook, twitter, web), url,...
最后，我想处理连续的日志数据流并映射同一用户的 GTP-C 消息和 GTP-U (IMSI ) 作报告。

我试过这个：

此代码始终返回空结果。输入流包含同一会话的 CreateRsp 和 CreateReq 消息的事实。它们看起来非常接近（在 1 秒内）。当我调试时，oReq.isEmpty == true每次。我做错了什么？

我正在尝试运行 Apache Flink，但由于依赖项不可用而出现错误。模块是否flink-streaming-java仍然可用。

我使用了 0.9.1 和其他几个版本，但它们都不起作用。

在 flink-streaming-java 中进一步检查https://github.com/apache/flink/blob/master/flink-streaming-java/pom.xml

成立 -

我正在尝试按参数对 DataSet 进行分组，然后通过应用sortGroup函数对结果进行排序。最后我想应用一个 reduceGroup 函数来获得一个转换后的 DataSet。

但是 Eclipse 在 sortGroup 行显示一个错误，其中指出：

无法访问 MyClass 类型的封闭实例。必须使用 MyClass 类型的封闭实例来限定分配（例如 xnew A()，其中 x 是 MyClass 的实例）。

谁能告诉我我做错了什么以及如何解决这个问题？

Apache Flink 为 DataSet 提供了很多操作。很难理解集群中的数据是如何处理的。例如 WordCount 有不同的实现。有什么区别？

如果有一些文档来解释集群中这些工具的数据流是什么，那将非常有帮助。

我正在按照这些说明将现有的 Storm 拓扑转换为 flink 作业。我通过 git 安装了 flink 1.0 (SNAPSHOT)，并让网络服务器和流媒体服务器在本地运行。

我通过 gradle 将拓扑构建到一个 .jar 文件中，并通过 flink Web 界面提交并收到此消息：“未指定入口类”。

所以 - 缺少一个切入点？.jar 需要什么特别的东西？清单？

此 .jar 在提交到风暴集群时正在工作。我已经添加（看起来像）相关的 flink .jar 文件。

编辑：

通过 cmd-line 提交作业向我显示了以下消息：

org.apache.flink.client.program.ProgramInvocationException：在 jar 文件中找不到“主类”和“程序类”条目。在 org.apache.flink.client.program.PackagedProgram.getEntryPointClassNameFromJar(PackagedProgram.java:563) 在 org.apache.flink.client.program.PackagedProgram.(PackagedProgram.java:186) 在 org.apache.flink.client。 program.PackagedProgram.(PackagedProgram.java:124) 在 org.apache.flink.client.CliFrontend.buildProgram(CliFrontend.java:725) 在 org.apache.flink.client.CliFrontend.run(CliFrontend.java:287) 在org.apache.flink.client.CliFrontend.parseParameters(CliFrontend.java:971) 在 org.apache.flink.client.CliFrontend.main(CliFrontend.java:1021)

阅读此JIRA 提出了一些答案：

1. 添加清单
2. 在 cmd-line 上添加入口点（使用 '-c <package>' 选项）