问题标签 [data-stream]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
727 浏览

apache-flink - SplitStream 用于动态输出键(选择)

这是我的代码。

我有随机顺序的监控事件流温度:80,压力:70,湿度:80,温度:30 ...

使用上面的代码,我正在拆分流、事件类型,即温度流、压力流。

问题是,如果我知道 eventType,我可以从 splitStream 中选择它

但 eventType 是动态的,不是预定义的。

我将如何为这个动态流应用 CEP。CEP 就像,如果

0 投票
1 回答
202 浏览

apache-flink - CEP - 添加窗口后未执行模式

//创建一个包含十个项目的窗口

// 应用窗口函数,添加一些自定义评估窗口中的所有值

//定义简单的CEP模式

当我运行这段代码时,where 子句中的过滤器函数根本不会被调用。我已经打印了inactivityStream.print()并且可以看到匹配的值。

现在,当我直接插入 inputStream 而不应用窗口时。模式匹配

我打印了 inputStream 和 WindowedStream ,我可以看到它们都发送类似的数据。

我错过了什么

0 投票
1 回答
192 浏览

performance - Apache Kafka 的数据流生成器

我正在为 Kafka-broker 寻找一个简单的事件/数据流生成器,以便在 Hadoop 框架的流工具上运行一些性能测试。目前没有找到合适的。它应该能够在很短的时间(毫秒)内发送大量(大部分相等)消息。

谢谢!

0 投票
1 回答
1188 浏览

r - 如何使用 R 连接到 Redis(rredis 和特定套接字)

我对 Redis 完全陌生,对 R 也比较陌生。我需要做一个作业,我首先需要连接到一个套接字(它流式传输股票的键值)。

我使用自制软件在我的 mac 中安装了 Redis,然后rredis在 R 中安装了包。每次尝试连接到本地主机时,我都会收到以下错误:

如果我设置nodelay = F 我会连接

现在,我正在尝试连接到特定的套接字(ip:88.99.38.191,端口:1337)

我明白了

如果我尝试设置nodelay = F

有谁知道我做错了什么?我在网上看到的所有指南/教程的默认设置都没有问题nodelay = T

ps:请原谅我的无知,或者我有类似的帖子,我没有找到。

0 投票
3 回答
10224 浏览

python - 从 CSV 文件到 Python 的实时数据流

我有一个 CSV 文件,其中包含在几分钟内记录的随机传感器的数据。现在我想将该数据从 CSV 文件流式传输到我的 python 代码,就好像它直接从传感器本身接收数据一样。(代码用于从两个不同的传感器/csv 文件中获取读数并将它们平均。)有人建议使用 Apache Spark 来流式传输数据,但我觉得这对我来说有点太复杂了。可能有更简单的解决方案吗?

0 投票
1 回答
395 浏览

node.js - 从服务器流式传输大数据集并异步可视化数据

有没有办法从服务器流式传输大数据集并使用 dc.js 以异步方式可视化数据?

对数据集进行分块,然后在它们到达时使用这些块更新客户端上的可视化。

喜欢这个页面: http://vcf.iobio.io/?vcf=http: //s3.amazonaws.com/vcf.files/ExAC.r0.2.sites.vep.vcf.gz&species=Human&build=GRCh37

0 投票
0 回答
173 浏览

php - 在php中将文件转换为基本字符串

我看到很多问题说如何将图像转换为 base 64 但我需要如何将任何格式文件转换为流"3C3F786D6C2076657273696F6E3D22312E302220656E636F64696E673D225554462D38223F3E3C69646D65663A49444D45462D4D65737361676520786D6C6E733A69646........."

在php中

0 投票
0 回答
120 浏览

session - Neo4J Flink sink 中的会话管理

我正在使用 Apache Flink 和 Neo4J(社区版)开发数据分析应用程序。

在这个应用程序中,Flink sink 必须在 Neo4J 中保存/更新关系。

哪个是 Neo4J 会话管理的最佳方式,为什么?

第一次实现:

第二种实现:

在这两种实现中,都使用了以下函数:

谢谢你。

0 投票
1 回答
1399 浏览

eof - Sentinel 值和文件结尾字符有什么区别?

这个问题源于这个(软件开发)教科书问题:

用于指示数据流结束的值称为:

  1. 一个哨兵值。

  2. 文件结尾 (EOF) 字符。

  3. 一只旗。

  4. 一个司机

正确答案显然是 1,尽管我回答了 2。

尽管我确实找到了哨兵值的定义,但我无法在教科书中找到文件结尾字符的定义。

前哨值 (教科书)

一个虚拟值,用于指示文件中数据的结束。哨兵来自哨兵一词,哨兵是防止未经授权的人通过的警卫。

然而,这与我在 Wikipedia 上的发现相矛盾(来源似乎是合法的)。

哨兵价值 (维基百科)

...算法上下文中的一个特殊值,它使用它的存在作为终止条件,通常在循环或递归算法中

然后是文件结束定义。

文件结尾 (维基百科)

...计算机操作系统中无法从数据源读取更多数据的情况。数据源通常称为文件或流。

因此,由此看来,更好(或正确?)的答案似乎是 2,因为问题是询问“数据流”。这是否意味着教科书的定义是错误的或“愚蠢的”,或者是文件结尾字符被归类为哨兵值?

0 投票
0 回答
416 浏览

java - 运行 Flink 的问题教程 RideCleansing

嗨,我的 Flink 朋友们,

我在执行我的第一个 Apache Flink 作业时遇到了几个问题。我完成了这个“1-handsOn-Tutorial”的所有步骤: https ://dataartisans.github.io/flink-training/dataStream/1-handsOn.html

我使用IntelliJ(最后我使用了示例解决方案“RideCleansing.java”),通过Maven成功构建了 JAR(mvn clean package),下载了示例数据并启动了 Flink(./bin/start-local.bat) .

我尝试了 2 种方式来启动 Flink 程序:

  1. 从命令行

./bin/flink run -c com.dataartisans.flinktraining.exercises.datastream_java.basics.RideCleansing /path/flink-training-exercises/target/flink-training-exercises-0.5.jar --input file:///Users/full_user_name/Downloads/nycTaxiRides.gz

但是会出现以下错误:

所以我认为“程序文件”之间的空格存在一些问题......我的 JAVA_HOME 指的是 C:\Program Files\Java\jdk1.8.0_131 。你的意思是这里有问题吗?

  1. 从 Web Dashboard 我上传了“提交新作业”面板下的 flink-training-exercises-0.5.jar,参考了主类并参考了示例数据。

在这种情况下,程序会进一步运行,但以异常结束:

你能告诉我这里出了什么问题吗?我忘记了一些步骤吗?为什么找不到这个 joda 课程?