问题标签 [real-time-data]

我们有一个实时系统，我们使用 solr (v4.3.1) 来索引和提供数据（和分析结果）。由于它是实时的，每时每刻都会有大量数据到达，我们需要以某种方式存储它并通过分析结果向最终用户展示。为了显示原始数据和分析结果（即数据摘要），我们使用范围和分面查询来查询 solr，性能令人满意。然而，随着数据的不断接收，solr 似乎不是即时存储/索引数据的好解决方案（可能会在未来发布）。我打算使用 hbase 作为 solr 前面的缓冲区，但我不确定如何处理 hbase 上的 facet/range 查询。

我该如何处理这种情况/w hbase？任何让事情变得更快的想法也很受欢迎！

谢谢大家。

我在绘制两个数组或列表 Arr_Particles 和 Arr_Particles2 大小的数据时遇到了一些麻烦。我目前绘制图形以在我启动程序时绘制，然后稍后使用一个经常使用循环调用的函数绘制它。我遇到的问题是我有一个粒子在 pygame 窗口中移动和碰撞的动画，为了在图形上绘制点，我必须暂停绘图，这会在粒子的动画与 graph() 循环运行时暂停. 我想知道有没有办法解决这个问题？

下面的代码：

创建数组和图形的代码：

调用绘图的代码是：

任何帮助将不胜感激。

我是 matlab 编码的新手，所以我仍在努力解决问题。几乎我正在使用每 10 毫秒输出传感器方向数据的 interia 传感器。我能够将这些数据存储到一个不断更新的文本文件中。

我现在的任务是实时绘制这些数据。这涉及连续访问和读取文本文件（如果可能，每 10 毫秒），并根据时间绘制此数据。你们中的任何人都可以给我一些指导，告诉我什么是最有效的方法。

此时，文本文件只存储一个参数（传感器的 x 坐标）的数据。我可以通过 2 种方式存储这些数据： 方法 1：每 10 毫秒新数据。每个都存储在一个新行中。方法2：我可以使文本文件只有最新的数据（擦除以前的数据）我可以使用这些方法中的任何一种..无论你们认为更容易。

我尝试使用其他 3rd 方软件从文本文件中绘制这些数据，但它们似乎都非常跳跃并且无法足够快地从文本文件中读取。

谢谢。

我想制作一个发送实时 mqtt 数据的应用程序。后端将捕获此 mqtt 流。我需要这些数据来操作网页上的实时图表。我怎样才能做到这一点？处理这些实时数据的最佳实践是什么？我应该处理每个传入的 mqqt 请求吗？任何帮助表示赞赏！

我正在尝试构建一个实时 mqtt 应用程序，将数据从移动设备发送到处理该数据的后端。我怎样才能最好地在这些 mqtt 流中实现标识？我的意思是，我怎么知道哪些数据来自哪个设备/用户？我应该制作多个流还是应该在标识用户的流中放置一个变量？

语境

应用：单页实时网页应用

功能：

• 用户在应用程序上操作小部件，小部件数据发送到服务器
• 服务器使用工作线程计算并将数据发送回应用程序

沟通：

• 类型：目前只有app <--> server。
• 将来需要发布/订阅
• 大小：无论哪种方式，每次更新 JSON 数 kB
• 频率：每分钟 1-10 次更新

峰值负载：数百个并发用户（当然）

开发者能力：麻瓜

方法

1）朴素的做法：托管node.js + express + socket.io

我有一个沙盒，可以用天真的方法运行，但我觉得像 Toonces The Driving Cat（我告诉过你他会开车！只是不太好！）。我为 csp、xframe、xss 等戴上了头盔，但我的 socket.io 代码非常基本，没有特殊的事件处理程序或流量限制。

2) 替代方法：托管 node.js + 托管实时数据/消息服务

这里的期望是托管的实时数据/消息传递服务是强大的，并且可以扩展到流量，除了处理 DoS 和安全传输等问题。托管的 node.js 应用程序将在 CDN 后面提供静态文件，因此主要处理实时数据和工作线程。node.js 应用程序不会直接面向 Web 应用程序用户。

问题

您是否会推荐方法＃2，因为它明显优越且值得额外费用？

欢迎任何其他评论/建议。

我正在编写一个项目讨论。我的问题是当任何成员发表评论到线程时。该评论应该在没有重新加载页面的情况下显示（作为 facebook）。我的 PM 不允许我使用 AJAX。所以，请说明我应该怎么做才能解决这个问题。感谢您的帮助。

是否有任何理由将 hbase 表拆分为更小的实体，或者它可以永远增长（假设可用磁盘空间）？

背景：

我们有实时数据（测量值），可以说高达 500,000/s，它基本上由时间戳、值、标志组成。如果我们将值分配到不同的表中，这也意味着单独插入每个条目，这是一个性能杀手。如果我们批量插入它会快得多。问题是，拥有一个极端大小的 hbase 表有什么缺点吗？

我正在尝试使用 Qt (c++) 创建一个程序，该程序可以使用 QAudioinput 和 QIODevice 从我的麦克风录制音频。现在，我想可视化我的信号

任何帮助，将不胜感激。谢谢

[Edit1] - 从您的评论中复制（由 Spektre 提供）

• 我只有一个缓冲区用于两个通道
• 我使用 Qt ，通道的值在缓冲区上交错

• 这就是我分离价值观的方式

  /li>

• 在我绘制 YvectorRight 和 YvectorLeft 之后。我看不到如何只触发一个频道

我正在尝试获取和存储基于 PHP 的网页上显示的实时数据。作为一个完全的网页新手，我需要一些指针，我可以开始学习和探索自己。

我希望从中提取数据的网页是http://www.ee.iitb.ac.in/~anil/

我只希望一些指针。谢谢！