问题标签 [data-stream]

我正在处理一个需要处理大量（数 GB）逗号分隔值 (CSV) 文件的项目。

我基本上做的事情如下：

1. 创建一个知道如何读取所有相关文件的对象
2. 向该对象注册一组对数据感兴趣的 Listeners
3. 读取每个文件的每一行，将从数据行创建的对象分派给每个侦听器
4. 每个 Listener 决定这条数据是否有用/相关

我想知道在源端进行过滤是否会更好，例如，每个侦听器都有一个关联的 Predicate 对象，该对象确定是否应将给定的数据分派给侦听器，在这种情况下，流程看起来更像

1. 创建一个知道如何读取所有相关文件的对象
2. 向该对象注册一组对
3. 读取每个文件的每一行，如果其关联的 Predicate 为数据返回 true，则将从该数据行创建的对象分派给每个侦听器

净效果是一样的，只是过滤发生在哪里的问题。

（同样，我拥有一次处理一个条目的这种“数据流”的唯一原因是因为我正在处理千兆字节的 CSV 文件，并且我无法创建集合、过滤它，然后再处理它 - 我需要随时过滤）

我想知道是否可以使用 Node.js 将数据从服务器流式传输到客户端。我想向 Node.js 发布一个 AJAX 请求，然后保持连接打开并不断将数据流式传输到客户端。客户端将接收此流并不断更新页面。

更新：

作为对此答案的更新-我无法使其正常工作。未response.write在您致电之前发送close。我已经设置了一个示例程序，用于实现此目的：

节点.js：

HTML：

使用这种方法，直到我调用close(). 这是可能的还是我应该采用长轮询方法，而不是在加载函数进来时再次调用它？

我们有一个流（来自传感器的数据或服务器上的点击流数据）带有滑动窗口算法的情况，我们必须将最后（比如说）500个数据样本存储在内存中。然后使用这些样本创建直方图、聚合和捕获有关输入数据流中异常的信息。

请告诉我如何制作这样的滑动窗口。

我希望能够保存使用 curl 命令返回的数据流。我尝试使用 cat 命令，并将 curl 命令传递给它，但是我做错了。我当前使用的代码是：

任何帮助，将不胜感激。

Perforce 是否支持Windows、NTFS 上的文件流？

如何从原始数据中获取 HTTPS 事件？

我有两个 java 进程，我必须将从一个进程生成的数据写入另一个 java 进程的输入。生成的数据流大小为 5GB。我怎样才能做到这一点。

我是否必须使用缓冲区文件并将输入流/输出流读写到该文件中。没有其他方法或更有效的方法吗？

谢谢

不，不是另一个问题，“我怎样才能让我的消息像在 Foursquare 上一样流动？？？”

我想知道的是，他们如何以正确的顺序和时间框架获取信息。

这是我的情况。我有一个 proc 可以获取给定日期的消息，然后将选定的结果集返回到 web 并在前端，我的代码显示它们并在顶部滑动新的。然而，这些“新”的并不是新的，它们只是系列中最初不适合页面的那些，尽管它们“看起来很新”。现在当我走到尽头时会发生什么，最后集合是空的……我再打一个电话对吗？

好吧，这个电话将会收到，是的，有些他们没有看到，但也有他们已经看到的。

有什么办法解决这个问题？

谢谢。

是否有任何算法可以继续从已知的哈希摘要进行哈希处理？比如客户端上传一个文件块到ServerA，我可以得到md5上传内容的总和，然后客户端把剩下的文件块上传到ServerB，我可以将md5内部状态转移到ServerB并完成哈希吗？

几年前我在 comp.lang.python 发现了一个基于 md5的很酷的黑魔法 hack ，但它用于orctypes的特定版本，因此对于不同的 python 解释器版本或其他编程语言来说，它不是完全可移植的代码。此外，该模块自 2.5 起在 python 标准库中已弃用，因此我需要找到更通用的解决方案。md5.so_md5.dllmd5

更重要的是，散列的状态可以存储在十六进制摘要本身中吗？（所以我可以继续使用现有的哈希摘要对数据流进行哈希处理，而不是肮脏的内部破解。）

对于已登录、接收服务器生成的消息的用户来说，实现能力的最佳机制是什么。由于服务器没有办法向用户发送信息，当它有新消息要传递时，用户浏览器应该以特定的间隔轮询，以接收响应新消息，另外，服务器应该有一种方法，不发送已发送给用户的消息。您可以使用公共聊天机制之类的东西建立联系，但我需要的是接近实时的消息延迟以及同时处理大约 100 个用户的能力，从而尽可能减少流量。附加说明：只有当用户在线时才需要数据，不需要将该数据存储在服务器中，以供其他用户阅读“历史”。

在我看来，有一种方法可以实现这一点 - 全局“消息框”，服务器放置所有消息，用户浏览器不断轮询服务器，以检查最后收到的消息 ID 是否等于消息框中的最后一个消息 ID。

问题是，如果这是正确的方法，还是有其他方法可以完成此类任务，因为对实时数据的需求随处可见：传感器数据、多人游戏、聊天、股市等等……