问题标签 [data-stream]

我需要计算不同的标识符并为它们打印一个数字。信息来自如下所示的数据流：

这是我的代码：

我只需要打印任何给定 IDENTIFIER 被读取的次数

我无法为我的脚本想出一个可行的时间计数器。

timeit.timeit() 会大大降低性能， time.clock 不断增加（因为收集的时钟时间越来越长），并且使用数据流中的内置计时方法会提供不一致的结果。

请参阅下面的代码以及我的 2 次尝试。

time.clock() 似乎具有我需要的执行速度，但我必须遗漏一些东西，因为它在每个迭代器上递增 0.10。

数据：

任何帮助将非常感激。

我正在尝试使用 eclipse（使用 maven conf）和 2 个工作人员执行下面的代码，每个工作人员都有 2 个核心，或者也尝试使用 spark-submit。

并记录该代码

问题是，我没有从目录中的文件中获取数据。请帮我。

在下面的 java 代码片段中，您将看到这一行packetLengthMax += bytes.toByteArray()[43]; 我的问题是：这是如何工作的？

我的解释：首先将一个套接字 ( Client) 传递给代码。然后它会设置所有变量。在 while 循环中，它读取来自套接字的所有数据。然后它还会将此数据写入DataOutputStream. 但在if语句中 - 它将一个字节数组添加到一个整数。
它是如何工作的？我不明白这一点。感谢您的帮助！

我在 Dropbox 上有大型设计文件（最大 500 MB），我正在构建一个工具，用于在我们基于 PHP 的在线项目管理程序中以编程方式将单个文件传输到供应商的 FTP 服务器。由于文件大小，由于速度和存储空间问题，我不想将文件下载到服务器，然后将该文件上传到 FTP 服务器。

我可以使用以下 Dropbox API 调用：

我猜我可以使用以下 PHP 命令：

我对文件数据流没有任何经验，所以我不知道如何将两者联系起来。经过几个小时的在线搜索，我想我会尝试在这里询问。

如何将 getFile 的 $outstream 资源与 ftp_fput 的 $ftp_stream 资源连接起来？

我正在配置水槽以流式传输天气数据，我已经编写了水槽代理，如下所示，

WeatherAgent.sources= 天气

WeatherAgent.sinks = hdfs-write

WeatherAgent.channels=内存通道

WeatherAgent.sources.Weather.type = 天气

WeatherAgent.sources.Weather.bind = api.openweathermap.org/data/2.5/forecast/city?id=524901&APPID=*********

WeatherAgent.sources.Weather.port = 11111

WeatherAgent.sinks.hdfs-write.type = hdfs

WeatherAgent.sinks.hdfs-write.hdfs.path = hdfs://localhost:8020/user/hadoop/flume

WeatherAgent.sinks.hdfs-write.rollInterval = 30

WeatherAgent.sinks.hdfs-write.hdfs.writeFormat=文本

WeatherAgent.sinks.hdfs-write.hdfs.fileType=DataStream

WeatherAgent.channels.memoryChannel.type = 内存

WeatherAgent.channels.memoryChannel.capacity=10000

WeatherAgent.sources.Weather.channels=memoryChannel

WeatherAgent.sinks.hdfs-write.channel=memoryChannel

我收到错误

天气代理不包含任何有效频道，使其无效。

我是flume的新手，我不知道代理配置文件中要添加哪些参数，我什至不知道写的代理是对还是错，请帮我解决这个问题。如果有任何帮助链接可用于编写自定义或新代理，请发布。

提前致谢

苏约格

我正在开发一个使用 Amazon Kinesis 的应用程序，我想知道的一件事是如何在升级期间滚动应用程序而不会丢失流上的数据。我听说过诸如蓝/绿部署之类的事情，但我想知道升级数据流服务的最佳做法是什么，这样您就不会从流中丢失数据。

例如，我的应用程序有一个 HTTP 端点，它以一系列 POST 操作的形式摄取数据。如果我想用更新的版本替换服务，我如何管理现有的应用程序流到我的端点？

我正在编写一个程序，用于处理对新节点和边的图的批量更新。我最近合并了一个滑动窗口方案，用于检查图形中已经存在的边是否在窗口中，如果没有则删除它们。我正在使用 Edge 和 Node 类，如下所示：

在使用一个数据集时，在尝试使用边缘迭代器访问边缘时，我在处理 69 个滑动窗口大小为 5 的批处理文件后遇到了段错误。在使用另一个数据集时，我在尝试删除邻接列表中的非空 Edge 指针（尝试释放内存）时，在 69 个批处理文件后出现段错误。我束手无策，试图弄清楚出了什么问题。该程序的非滑动窗口版本运行良好。我也知道使用 STL deque 数据结构对于滑动窗口会更好。但是，我正在使用相当大的代码，我希望能够在不使用双端队列的情况下解决这个问题。提前致谢。编辑：它发生在两条不同的线路上：

它发生在线：

关于使用第一个数据集。这里的问题是，即使向量不是空的，向量中的指针指向的内存也不是应用程序的一部分。当我使用 gdb 尝试打印时：

它给出：尝试获取不在内存中的值的地址

尽管边被添加到邻接列表中，但这不应该发生。在使用第二个数据集时，我使用时会发生错误：

其中 adj_it 是 adjacency_list 向量的迭代器。

同样奇怪的是，如果我通过说“n”来增加滑动窗口，同样的问题会在“n”个批次之后发生。

添加 deleteEdge 函数：

}

我以前也只使用过索引，在@Julius 的回答之后我又试了一次。这是我的新删除循环。

但是，无论如何，我都会遇到相同的错误。

顺便提一句。我真的很感谢到目前为止的所有评论。感谢您的时间。

编辑：使用 valgrind 在代码的不同部分发现内存泄漏。摆脱那个代码（它对算法来说并不是真正必要的）摆脱了它。我接受@Julius 的回答，因为根据我原来的陈述它可以解决问题。还要感谢@RetiredNinja、@Beta 和@Golazo 的出色评论。

嗨，我正在使用 Kinesis 来处理数据流。

我可以成功地向 Kinesis 发送数据并从 Kinesis 中提取数据，一切都很好。

但是，当我检查 Kinesis 的“监控”时，我看不到写入吞吐量的数据，但有总传入请求的数据（在随附的屏幕截图中）。既然我可以成功地从 Kinesis 中提取数据，我假设肯定有一些写入吞吐量，为什么监控中没有写入吞吐量？

或者我误解了“写入吞吐量”和“传入请求”这个术语？

非常感谢。

我得到了一个使用数据流和java的任务。我需要做的是编写一个连接到给定数据流的java类和它的API。

得到

GET 用于检索数据流列表，或通过其 ID 检索特定流

我了解它的工作原理，

1. 我如何创建一个类来获取这个值？

2. 我需要使用什么样的对象来存储它们

3. 例如，我如何将它们插入数据库？