问题标签 [batch-processing]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
3 回答
138 浏览

linux - 快速Linux问题

我正在尝试执行以下操作:

$OOOPYTHON DocumentConverter.py .odt .pdf

对于我在特定文档中的所有 ODT 文件,并寻找正确的语法将所有 odts 转换为 pdf。

谢谢!杰克

0 投票
1 回答
154 浏览

html - 如何快速将全站范围的 CAPS HTML 标记替换为小写

我在我的网站上的整个页面中都有一大堆 HTML 代码,它们在 CAPS 中包含了我不喜欢的所有标签及其属性,并且还有许多其他的不一致和糟糕的编码。是否有某种工具或宏可以相对简单地转换站点范围内的所有标签,而无需手动单步执行每个文件?

一些代码也嵌入在 PHP 页面中。

示例源代码:

示例输出代码:

0 投票
2 回答
201 浏览

windows - 在目录中创建一个包含文件名的数组

我正在尝试使用批处理脚本将一堆目录中的一个或两个特定文件(因此我不想/不能使用*)从一个目录复制到另一个目录。

基本上我想导航到一个“根目录”并从该列表中使用所有子目录dir /AD-H /B然后我想cd进入每个目录并xcopy /y进入我存储在变量中的目录。

我尝试了一些在网上找到的示例,但是当我修改它们时,它们无法正确处理开关。

谢谢

0 投票
2 回答
107 浏览

.net - 处理大量文件 - 任何库或实用程序可以提供帮助?

我想处理大量文件 - 想想视频转码,比如 youtube,您必须将所有内容转换为 FLV 格式或图像处理,您可以从大型 RAW 文件创建缩略图。

是否有任何服务或图书馆可以帮助进行此类处理?我不是指实际的转码,而是组织、启动任务、监控它们并以某种方式处理错误。

理想情况下在 Windows 上,但 linux 也可以。

更新:我希望实用程序/lib 在更高级别处理此类任务。调度多个进程,以某种方式处理和报告任何故障等。

因此,在转码的情况下,我希望这样的 lib/utility 获取要转码的文件列表,然后它将处理在多个线程/进程中启动转码。您将能够定义成功完成任务后要做什么。如果发生故障,您也可以这样做。

0 投票
1 回答
2948 浏览

debian - 我应该在 debian 上与 openoffice 一起使用什么虚拟 X 服务器?

我需要以批处理模式运行 openoffice 以将 .doc 文件转换为 pdf,但 openoffice 无法启动,因为它需要 X 服务器。我的 linux 盒子没有。

我可以使用一些虚拟的黑洞 X 服务器吗?

我正在使用debian etch。

0 投票
2 回答
376 浏览

java - 以小批量向服务发送大请求(Java)

我使用一个使用服务返回信息的大型 Java Web 应用程序。我的主要目标是尽快检索 100 多个单独的结果。我们注意到,发送 100 多个信息请求并不能为我们提供最佳的数据回复性能。我们的解决方案是将 100 多个请求分成小批量(约 15,25 个),并在全部收到后组装它们。

我正在寻找 Java 中的建议,以从应用程序向服务发出 1 个或 50 个或 200 个请求,将信息返回给应用程序并在有更多请求时执行另一批。如果没有剩余请求,则组装到列表中并返回该完整列表。

欢迎任何形式的建议,谢谢。

0 投票
3 回答
457 浏览

append - 在子目录中附加来自多个 CSV 的 txt 文件

我正在尝试编写一个批处理文件,它将直接子目录中的所有 *.csv 文件附加到当前目录中的单个文本文件中。

从各种来源,我设法将这段代码拼凑在一起,该代码适用于当前目录中的文件,但不适用于子目录

如果有人可以帮助我解决这个问题,我将非常感激,因为我尝试了各种使用通配符的方法,但都没有成功。

0 投票
6 回答
42920 浏览

sql - 在本机 SQL 中批量提交大型 INSERT 操作?

我有几个大表(188m 和 144m 行)我需要从视图中填充,但每个视图都包含几亿行(将伪维度建模数据组合成一个平面形式)。每个表上的键是超过 50 个复合字节的列。如果数据在表中,我总是可以考虑使用 sp_rename 来创建另一个新表,但这不是一个真正的选择。

如果我执行单个 INSERT 操作,该过程会占用大量事务日志空间,通常会将其归档并引发 DBA 的一堆麻烦。(是的,这可能是 DBA 应该处理/设计/架构师的工作)

我可以使用 SSIS 并通过批量提交将数据流式传输到目标表中(但这确实需要通过网络传输数据,因为我们不允许在服务器上运行 SSIS 包)。

除了使用某种键将行分成不同的批次并执行循环将过程划分为多个 INSERT 操作之外,还有什么其他的方法吗?

0 投票
4 回答
3541 浏览

bash - 用于编辑一堆文件的 Bash 脚本

为了处理一堆数据并准备好将其插入到我们的数据库中,我们生成了一堆 shell 脚本。它们中的每一个都有大约 15 行,一个用于数据正在运行的每个表。一个最近的导入批次,一些导入文件未能进入一个特定的表。所以,我有一堆 shell 脚本(大约 600 个),我需要注释掉前 7 行,然后重新运行文件。这个文件夹中大约有 6000 个 shell 脚本,没有任何关于特定文件的信息可以告诉我它是否需要编辑。我有一个从数据库输出中提取的文件的列表。

那么我如何编写一个 bash 脚本(或其他任何可以更好地工作的脚本)来获取这个文件名列表,并为每个文件名,注释掉前 7 行,然后运行脚本?

编辑:

不确定它的可读性如何。基本上,前 7 行(不包括第一行)需要在它们的开头添加一个 #。注意:文件已经过编辑,使每行更短,并部分切断了从 VIM 复制出来的内容。但是在每个文件的主要部分,有一行以echo开头,然后一行以sqlldr开头

0 投票
3 回答
189 浏览

batch-processing - 并发事务发生时的批处理

我正在创建一个批处理来将一些信息从我的数据库移动到外部文件。这个任务是可以管理的,但是需要处理的数据很多,大概需要一个月左右的时间。

在这个月里,新的信息将不断上传。有什么方法可以让我进行批处理,然后返回新记录并处理它们(在批处理发生时我们无法关闭我们的上传系统)。

我在想可能到某个日期之前的大部分批处理,这将是整个批处理的 95% 左右,剩下的 5% 将是输入并处理的新记录?有什么想法吗?