问题标签 [data-stream]

我将时间序列传感器数据存储在 MongoDB 中，我想在 Spark Streaming 中使用 MongoDB 数据。我试图连接 Apache Kafka，但找不到任何东西。

那么，我可以通过 Kafka 或其他流工具将数据从 MongoDB 发送到 Spark Streaming 吗？可能吗？如果是，我该怎么做？

我想确定 go to 简单流式算法示例的空间复杂度。

如果您得到 n-1 个不同数字的排列并且必须检测一个缺失的数字，您可以使用公式 n (n + 1) / 2 计算所有数字 1 到 n 的总和，然后减去每个传入的数字。结果是您丢失的号码。我发现一篇德国维基百科文章指出该算法的空间复杂度为 O(log n)。（https://de.wikipedia.org/wiki/Datanstromalgorithmus）

我不明白的是：存储一个数字 n 所需的位数是 log2(n)。好的..但我必须计算总和，很难。所以 n (n + 1) / 2 比 n 大，因此需要比 log (n) 更多的空间，对吧？

有人可以帮我弄这个吗？提前致谢！

只是一点背景知识，我正在使用 Linux Mint（32 位）中的原始数据流。它来自我的库ruby​​-buzz，它从数据流文件中读取 24 位块。

我刚刚用 32 位 Linux Mint 重新安装了我的笔记本电脑，突然我看到了错误Errno::EINVAL: Invalid argument @ io_fread。

在同一系统上，使用相同的输入设备，我在创建的 /dev/input 文件中看到了问题，但不包含数据流

我不知道为什么我以前可以很好地用来tail -f从终端观看原始数据流，以及为什么我以前能够用来file.read(24)从 ruby​​ 中获取 24 位块。包括安装 Mint。但现在我也做不到。

我正在尝试使用 BLE 流式传输数据，但设备没有保持连接状态。目前，我们可以连接并打印出所有服务和特性的 UUID 并建立连接。它会在很短的时间内连接到 BLE 设备，然后设备不会连接到应用程序。

我很感兴趣在 MP4 容器上添加一些数据，每个时间间隔（类似于字幕）。我可以使用任何标准或开源代码吗？

我正在使用 ARINC 429 协议使用 Ballard 设备在单个通道上流式传输 4 个不同的标签。

BTI SDK 提供了暂停/恢复/停止频道的方法，但我没有找到任何直接的方法来暂停频道上的任何特定标签？有什么解决方法可以让它工作吗？

我主要是找BTI42964.DLL提供的什么功能？

在数据流中，我尝试检测是否满足某个阈值（条件）。此外，阈值不应适用于自发噪声（尖峰），在满足条件下自发的低值也不应阻止我检测上述值的区域X。

数据在数据流中逐个样本地出现，我仍在寻找 pythonic/fast 解决方案。下图直观地解释了我的问题： 目的是保存满足超过某个阈值X次数条件的检测到的部分的起始索引和结束索引。

我正在努力处理一次输入一个数据的问题，在整个数据集上这不是问题。我想到了这样的事情：

这里的问题是，如果计数器开始增加单个错误事件会停止它。但是我想检测例如窗口中 90% 的值是否为真，比如说 50 个连续值，在前 3 个值之后是否有一个低于阈值的值并不重要，我仍然需要starting_index整个end_index区域。

对于相当复杂的描述感到抱歉，在数据流的情况下找不到解决方案真是令人沮丧。如果还有问题或不清楚的地方，我会编辑我的答案。

我正在尝试测试我编写的一些信号处理函数，并且我想模拟代表以 960 Hz 采样的正弦波的带符号 16 位值的实时流数据。所以我想在路上的某个地方会有一些类似的东西

time以秒为单位的单精度或双精度浮点数在哪里。

有没有办法用 C#、Windows PowerShell 脚本或其他方式来做到这一点？我将如何捕获这些数据？我见过这个，但我不知道 Perl，我不确定我是否理解。

或者我是否理解实时数据流如何工作错误？

我已经在本地设置了 Redis，我想连接到远程服务器，该服务器以 <ID，值> 的形式提供合成数据流。到目前为止，我已经设法使用套接字连接到上面提到的服务器，读取数据流并打印它。相反，我想将这些对存储在哈希数据结构中（稍后我将存储有关每个 ID 的更多信息）。问题是我不知道如何解析数据流以便使用hget以及如何连续使用它。在更高级别，我希望能够将传入数据流中的名称和值作为参数传递给hget. 忘了提我正在使用 Python API。至今：

数据流示例：

我不确定是否可以保证所有行都已完全格式化，但让我们保证。

假设我有一个数据流

我如何放入x,y,z他们自己的存储桶并对其应用我的 CEP 规则。

或者换一种说法。如何将流分成这些类别（每个 x、y、z 一个流）。我会得到 3 个具有自己的 CEP 处理的子流。

这里的挑战是，x,y,z 不是预定义的。所以我不能预先创建流并使用 if 或 switch 语句进行分配。

编辑： 模式将类似于“如果 x 值在过去 10 分钟内介于 0 - 8 之间