问题标签 [nodejs-stream]

我们正在使用提供的基于 API 的数据，它允许我们分析与提供的 GeoJSON 区域和指定时间戳相关的大量 GIS 数据。当我们的提供商汇总数据时，可以将其标记为完整并通过回调 URL 提醒我们的服务。从那里，我们有一个我们已经运行的报告的列表及其相关的下载链接。我们需要处理的报告之一是具有 4 列的 TSV 文件，如下所示：

deviceId | timestamp | lat | lng

有时，如果我们分析的区域足够大，这些文件可能会超过 60+GB。下载链接链接到文件的压缩版本，因此我们无法直接从下载 URL 中读取它们。我们正在尝试获取此 TSV 中按 deviceId 分组并按时间戳排序的数据，以便我们可以使用路由服务中的 lat/lng 沿道路网络进行路由。到目前为止，我们的大部分应用程序都使用了 Javascript，但这项服务带来了独特的问题，可能需要额外的软件和/或语言。

好奇其他人如何解决处理和处理这种大小的数据的问题。

我们已经尝试下载文件，将其通过管道传输到 ReadStream 中，并分配机器上所有可用的内核来单独处理批量数据。这行得通，但它并没有我们想要的那么快（即使是 36 核）。

如何丢弃 NodeJS 转换流中的一个块并从前一个流中读取下一个块？

如果它没有通过 ruleCheck 流中的某些标准，我想丢弃该块。

我有两个文件夹，输入和输出文件夹，其中包含以下格式的许多文本文件。如何从输入文件夹中读取所有文件，运行正则表达式并将所有更新的文件写入另一个输出文件夹？我正在使用 nodejs。

到目前为止，我已经从目录中读取文件：

感谢任何帮助编写 nodejs 正则表达式。

首先搜索确切的词“ChildBucketOne”和“ChildBucketTwo”，并在每次出现 ChildBucketOne 或/和 ChildBucketTwo 之前添加确切的词 ParentBucket。

我正在尝试使用一个正则表达式。

输入 1：webApplication.ChildBucketOne 输入 2：webApplication.ChildBucketTwo

输出：webApplication.ParentBucket.ChildBucket.ChildBucketOne

webApplication.ParentBucket.ChildBucket.ChildBucketTwo

谢谢！

我试图在没有身份验证的情况下发送邮件，但它抛出错误如何实现它。

邮件.js

问题陈述：

完成函数 readFile 以读取文件 sample.txt 的内容并将内容作为纯文本响应返回。

注意：确保在阅读文件时提及其完整路径。例如 - 假设你必须读取文件 xyz.txt 然后而不是写 './xyz.txt' 或 'xyz.txt' 写${__dirname}/xyz.txt

我的代码：

我想要做的是从谷歌下载一个图像到我的项目文件夹中的系统存储库中/download。接下来，我试图从download存储库中获取图像并调整大小并再次将调整后的图像保存在/thumbnail存储库中。下面是我写的代码

如果我删除了我评论为 CODE REMOVED - ERROR IS Coming HERE 的代码，则图像将从谷歌下载。如果我调用imageresize函数，则/download目录正在创建，但我在目录中找不到任何图像。

即，如果我分别调用从 google 下载和 resizeimage 函数，即先从 google 调用图像下载，然后再调用 imageresize，那么它们工作正常，即我可以在两个目录/download中找到图像。/thumbnail但是如果我在谷歌下载后调用 resizeimage 函数，那么我在两个存储库中都找不到任何图像。

我想处理长度约为 100 000 的数组，而不会给 CPU 带来太多负载。我研究了流并偶然发现了 highlandjs，但我无法使其工作。

我也尝试过使用承诺和分块处理，但它仍然给 CPU 带来了很大的负载，如果需要，程序可能会很慢，但不应该给 CPU 带来负载

我想根据原始 json 数据和预期的 json 数据重构 json。

如果您仔细查看原始 json 数据，我有男性/女性属性之外的国家/地区。根据国家模块内的方向属性，我希望国家模块位于男性/女性属性内。所以在后数据中，我将在男性属性中有 1 个国家模块（因为有 1 条男性记录），在女性属性中有 2 个国家模块（因为有 2 条女性记录）。

原始 json 数据如下所示：

预期的 json 数据：

程序：

先感谢您！

在节点中测试 http 范围请求，当我们从

到reshttp服务器的http，来自节点的http客户端接受它。

但是，当我通过管道传输缓冲区流时，使用：

Curl 和浏览器接受它，除了 NodeJShttp客户端，它会抛出：

要对其进行测试，只需将第 56 行从更改'read'为'buffer'：

index.js

index.html