我有两个可读/可写流:
fileDataToUrlStream()
获取类似从发出的文件块ReadableFileStream
并发出 URL 的文件块urlToParsedDataStream()
获取这些 URL,下载数据,然后发出从下载中解析的数据
我目前把它连接起来是这样的:
process.stdin
.pipe(fileDataToUrlStream())
.pipe(urlToParsedDataStream())
.pipe(process.stdout);
问题是这一切都是连续运行的。urlToParsedDataStream
在发出请求并发出数据之前不会使用数据。
我希望有一个 10 左右的池,urlToParsedDataStream()
这样在任何给定时间我最多有 10 个正在运行的请求。我该如何做到这一点?必须有一个现有的 npm 模块,对吧?
这看起来很接近,但我不需要以与传入流相同的顺序发出数据。