问题标签 [pipeline]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
2155 浏览

queue - 现在正在工作的 gstreamer 管道需要一堆队列组件,为什么?

我有一个 C 程序,可以将 v4l2 源中的视频和音频记录为 flv 格式。我注意到该程序不适用于较新版本的 ubuntu。我决定尝试在 gst-launch 中运行有问题的管道,并尝试找到能够重现问题的最简单的管道。仅专注于视频方面,我已将其简化为您在下面看到的内容。

所以我有一个正在工作的 gstreamer 管道:

现在,只有当我在 xvimagesink 之前一个接一个地添加一堆队列时,它才会起作用。虽然这确实有效,但在管道开始工作之前我得到了 2 秒的延迟,并且我也收到了消息:

虽然上面的第二个管道有效,但在管道开始运行之前有一个暂停,我收到了消息(我不认为这个系统慢 2,它是一个带有大量内存的核心 i7):

谁能解释这里发生了什么?我究竟做错了什么?

0 投票
2 回答
287 浏览

functional-programming - Clojure 中的可插拔向量处理单元

我正在 Clojure 中开发一些需要处理大量矢量数据的模拟软件(基本上源自 Java 浮点数组的偏移量,长度通常在 10-10000 范围内)。大量这些向量将需要经过各种处理步骤 - 例如标准化向量、将两个向量流连接在一起、计算移动平均值等。

我希望做的不是以命令式风格做所有事情,而是创建一个更具函数式风格的 Clojure 解决方案,该解决方案将执行以下操作:

  • 允许将任何向量函数转换为可插入模块,例如 (def module-a (make-module some-function))
  • 允许在管道中组合这些模块,例如 (def combine-module (combine-in-series module-a module-b)) 会将 module-a 的输出馈送到 module-b 的输入
  • 允许辅助函数访问存储在给定模块中的状态,例如(get-moving-average some-moving-average-module),即使 some-moving-average-module 嵌入到组合管道中的深处,它也需要工作
  • 在幕后隐藏任何样板代码,例如为向量计算分配足够大的临时数组。

这听起来像一个明智的方法吗?

如果是这样,任何可能有帮助的实现提示或库?

0 投票
2 回答
7517 浏览

python - 无法让 Scrapy 管道工作

我有使用 Scrapy 框架编写的蜘蛛。我在让任何管道正常工作时遇到了一些麻烦。我的 pipelines.py 中有以下代码:

我的 CrawlSpider 子类有这条线来激活这个类的管道。

但是,当我使用它运行它时

我得到一条线,上面写着

没有管道(我认为这是日志记录应该输出它们的地方)。

我尝试过查看文档,但似乎没有任何完整项目的完整示例来查看我是否遗漏了任何内容。

关于下一步尝试什么的任何建议?或在哪里寻找进一步的文件?

0 投票
2 回答
7156 浏览

python - Scrapy管道spider_opened和spider_closed没有被调用

我在使用scrapy管道时遇到了一些麻烦。我的信息正在从网站上抓取,并且 process_item 方法被正确调用。但是没有调用 spider_opened 和 spider_closed 方法。

__init__和日志消息都process_item显示在日志中,但spider_openspider_close日志消息不显示。

我需要使用 spider_opened 和 spider_closed 方法,因为我想使用它们来打开和关闭与数据库的连接,但它们的日志中没有显示任何内容。

如果有人有任何建议,那将非常有用。

0 投票
1 回答
141 浏览

c# - 可以在 IHttpModule 上实现 .NET 事件吗?

我已经在 HTTP 模块上声明了一个事件,因此它将轮询订阅者的真/假值,以确定它是否应该继续执行调整 HTTP 响应的任务。如果只有一个订阅者回答为真,那么它就会运行它的逻辑。

这有意义吗?
是否有我没有看到的潜在陷阱?

0 投票
1 回答
376 浏览

asp.net - 在发送到浏览器之前从数据库中加密外键

我刚刚遇到了一些似乎在将数据库密钥发送到客户端(WebBrowser、Silverlight 等)之前对其进行加密的代码。

为了说明,假设您有一个学生参加课外活动的列表,并定义了他们之间的关系。每次将数据写入 ASPX 页面时,studentID 和 activityID 都会被加密。每次进行写入或修改时,都会将此值发送回服务器、解密并保存到数据库中。

以这种方式公开数据的原因可能是什么?这是正常的做法吗?

如果这种选择性加密是一种好的做法,那么最好的方法是什么?

0 投票
1 回答
6553 浏览

powershell - Powershell新手:我如何过滤结果,以便只有我得到的信息可以在管道中使用?

假设我运行了一个 powershell 命令(在我的情况下与组策略相关),但可以说我运行这个命令:

PS C:>Get-GPO -All

我的输出看起来像:

DisplayName : 我命名的 GPO

域名:mydomain.com

所有者:域管理员

ID : Random_GUID ...

如何“过滤”该命令以使其仅返回与 DisplayName 相关的行?这是可能的还是我需要做一些在管道操作中不可用的字符串解析?因为最终,我希望使用该 DisplayName 参数来管道到另一个命令。

提前致谢!

0 投票
2 回答
11239 浏览

powershell - Powershell:在管道中使用子字符串

是否有可能操纵 powershell 管道中的项目?更具体地说:我从“svn 列表”开始我的管道。这将返回我的存储库中的路径列表,所有目录都带有尾随“/”。路径列表应该存储在一个数组中,但没有“/”。这个:

不起作用,因为 TrimEnd 是一个表达式,不能在管道中使用。管道的结果应该类似于

提前感谢您的回答。

0 投票
3 回答
4014 浏览

c# - 如何在 C# 中实现真正的函数管道?

如何使用 C# 创建真正的函数管道?我有一些想法如下,但这不是一个真正的管道

在上面的代码中,每个元素IEnumerable<T>只有在前一个元素执行完所有函数(即退出管道)后才能进入管道,但根据定义如果element1完成执行func1并开始执行func2,到那时element2应该开始执行func1并且依此类推,从而保持管道中数据的持续流动。

这种场景可以在 C# 中实现吗?如果可能,请给我一些示例代码。

0 投票
3 回答
436 浏览

c# - 如何使这个异步方法调用工作?

我试图开发一个使用异步方法调用的方法管道。流水线的逻辑如下

  1. 集合中有 n 个数据必须输入到管道中的 m 个方法中
  2. 枚举 T 的集合
  3. 将第一个元素提供给第一个方法
  4. 获取输出,异步提供给第二个方法
  5. 同时,将集合的第二个元素喂给第一个方法
  6. 第一种方法完成后,将结果馈送到第二种方法(如果第二种方法仍在运行,则将结果放入其队列并开始执行第一种方法的第三个元素)
  7. 当第二个方法完成执行时,从队列中取出第一个元素并执行等等(每个方法都应该异步运行,没有人应该等待下一个完成)
  8. 在第 m 个方法处,执行完数据后,将结果存储到一个列表中
  9. 在第 m 个方法完成第 n 个元素后,将结果列表(n 个结果)返回到第一级。

我想出了如下代码,但它没有按预期工作,结果永远不会返回,而且它没有按应有的顺序执行。

你们能帮我做这件事吗?如果这种设计不适合实际的方法管道,请随时提出不同的建议。

编辑:我必须严格遵守.Net 3.5。