问题标签 [data-stream]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
mongodb - 如何使用 MongoDB 作为 Spark Streaming 的数据源?我可以通过 Kafka 将数据从 MongoDB 发送到 Apache Streaming 吗?
我将时间序列传感器数据存储在 MongoDB 中,我想在 Spark Streaming 中使用 MongoDB 数据。我试图连接 Apache Kafka,但找不到任何东西。
那么,我可以通过 Kafka 或其他流工具将数据从 MongoDB 发送到 Spark Streaming 吗?可能吗?如果是,我该怎么做?
streaming - 简单流算法的空间复杂度
我想确定 go to 简单流式算法示例的空间复杂度。
如果您得到 n-1 个不同数字的排列并且必须检测一个缺失的数字,您可以使用公式 n (n + 1) / 2 计算所有数字 1 到 n 的总和,然后减去每个传入的数字。结果是您丢失的号码。我发现一篇德国维基百科文章指出该算法的空间复杂度为 O(log n)。(https://de.wikipedia.org/wiki/Datanstromalgorithmus)
我不明白的是:存储一个数字 n 所需的位数是 log2(n)。好的..但我必须计算总和,很难。所以 n (n + 1) / 2 比 n 大,因此需要比 log (n) 更多的空间,对吧?
有人可以帮我弄这个吗?提前致谢!
ruby - 从 ruby 读取 USB 输入流。
只是一点背景知识,我正在使用 Linux Mint(32 位)中的原始数据流。它来自我的库ruby-buzz,它从数据流文件中读取 24 位块。
我刚刚用 32 位 Linux Mint 重新安装了我的笔记本电脑,突然我看到了错误Errno::EINVAL: Invalid argument @ io_fread
。
在同一系统上,使用相同的输入设备,我在创建的 /dev/input 文件中看到了问题,但不包含数据流
我不知道为什么我以前可以很好地用来tail -f
从终端观看原始数据流,以及为什么我以前能够用来file.read(24)
从 ruby 中获取 24 位块。包括安装 Mint。但现在我也做不到。
java - BLE 连接断开
我正在尝试使用 BLE 流式传输数据,但设备没有保持连接状态。目前,我们可以连接并打印出所有服务和特性的 UUID 并建立连接。它会在很短的时间内连接到 BLE 设备,然后设备不会连接到应用程序。
ffmpeg - 在 MP4 上添加数据流
我很感兴趣在 MP4 容器上添加一些数据,每个时间间隔(类似于字幕)。我可以使用任何标准或开源代码吗?
protocols - 如何通过单通道控制 ARINC429 标签?
我正在使用 ARINC 429 协议使用 Ballard 设备在单个通道上流式传输 4 个不同的标签。
BTI SDK 提供了暂停/恢复/停止频道的方法,但我没有找到任何直接的方法来暂停频道上的任何特定标签?有什么解决方法可以让它工作吗?
我主要是找BTI42964.DLL提供的什么功能?
python - 检测数据流是否在 Python 中的特定时间 Y 内满足条件(阈值)X 次
在数据流中,我尝试检测是否满足某个阈值(条件)。此外,阈值不应适用于自发噪声(尖峰),在满足条件下自发的低值也不应阻止我检测上述值的区域X
。
数据在数据流中逐个样本地出现,我仍在寻找 pythonic/fast 解决方案。下图直观地解释了我的问题:
目的是保存满足超过某个阈值
X
次数条件的检测到的部分的起始索引和结束索引。
我正在努力处理一次输入一个数据的问题,在整个数据集上这不是问题。我想到了这样的事情:
这里的问题是,如果计数器开始增加单个错误事件会停止它。但是我想检测例如窗口中 90% 的值是否为真,比如说 50 个连续值,在前 3 个值之后是否有一个低于阈值的值并不重要,我仍然需要starting_index
整个end_index
区域。
对于相当复杂的描述感到抱歉,在数据流的情况下找不到解决方案真是令人沮丧。如果还有问题或不清楚的地方,我会编辑我的答案。
c# - 如何模拟 16 位数据流?
我正在尝试测试我编写的一些信号处理函数,并且我想模拟代表以 960 Hz 采样的正弦波的带符号 16 位值的实时流数据。所以我想在路上的某个地方会有一些类似的东西
time
以秒为单位的单精度或双精度浮点数在哪里。
有没有办法用 C#、Windows PowerShell 脚本或其他方式来做到这一点?我将如何捕获这些数据?我见过这个,但我不知道 Perl,我不确定我是否理解。
或者我是否理解实时数据流如何工作错误?
python - Redis - 解析远程服务器提供的数据流
我已经在本地设置了 Redis,我想连接到远程服务器,该服务器以 <ID,值> 的形式提供合成数据流。到目前为止,我已经设法使用套接字连接到上面提到的服务器,读取数据流并打印它。相反,我想将这些对存储在哈希数据结构中(稍后我将存储有关每个 ID 的更多信息)。问题是我不知道如何解析数据流以便使用hget
以及如何连续使用它。在更高级别,我希望能够将传入数据流中的名称和值作为参数传递给hget
. 忘了提我正在使用 Python API。至今:
数据流示例:
我不确定是否可以保证所有行都已完全格式化,但让我们保证。
apache-flink - 对数据流数据进行分类或分组,并分别使用 CEP 进行处理
假设我有一个数据流
我如何放入x,y,z
他们自己的存储桶并对其应用我的 CEP 规则。
或者换一种说法。如何将流分成这些类别(每个 x、y、z 一个流)。我会得到 3 个具有自己的 CEP 处理的子流。
这里的挑战是,x,y,z 不是预定义的。所以我不能预先创建流并使用 if 或 switch 语句进行分配。
编辑: 模式将类似于“如果 x 值在过去 10 分钟内介于 0 - 8 之间