问题标签 [batch-processing]

是否可以以某种方式使用.bat文件来编写 SQL Server 数据库的架构和/或内容的脚本？

我可以通过向导执行此操作，但希望简化此文件的创建以用于源代码控制。

我想避免使用 3rd 方工具，只是限制自己使用 SQL Server 附带的工具。

我正在着手开发一个程序，该程序可能最自然地描述为对数据库表的一批计算，并将每月执行一次。所有输入都在 Oracle 数据库表中，所有输出都将在 Oracle 数据库表中。该程序应在未来许多年内保持可维护性。

将其实现为一系列存储过程似乎很简单，每个存储过程都执行合理的转换，例如根据某些业务规则在部门之间分配成本。然后我可以编写单元测试来检查每个转换的输出是否符合我的预期。

在 PL/SQL 中完成这一切是不是一个坏主意？您是否愿意使用典型的面向对象编程语言（例如 C#）进行大量的批量计算？使用以数据库为中心的编程语言（例如 PL/SQL）不是更有表现力吗？

我们有 50 多个 Java 批处理进程，它们在一天中的不同时间运行。它们在 Solaris 机器上运行，并通过 cron 启动。目前，我们只知道它们是成功还是失败的唯一方法是通过在每个批处理结束时生成的电子邮件。我们有一个支持团队来监控这些电子邮件。最近，我们遇到了未收到电子邮件的问题，即使批次正在运行。肯定有更好的办法。

不用重新发明轮子，有没有开源的批量监控应用？

还有一个更普遍的问题，监控批处理过程的最佳方法是什么？

我必须每天以特定的方式转换几百张图像。

我需要最好的免费软件工具或一段支持批量水印、调整图像大小并且可以自动化（旧配置可以重用）的 C# 代码。

你建议什么工具？

这是一个非常常见的场景：某个进程希望每 30 分钟左右在服务器上删除一个文件。很简单，对吧？好吧，我可以想到很多可能出错的方法。

例如，处理一个文件可能需要多于或少于 30 分钟，因此一个新文件可能会在我完成前一个文件之前到达。我不希望源系统覆盖我仍在处理的文件。

另一方面，文件很大，因此需要几分钟才能完成上传。我不想开始处理部分文件。这些文件只是通过 FTP 或 sftp（我的偏好）传输的，因此操作系统级别的锁定不是一种选择。

最后，我确实需要将文件保留一段时间，以防我需要手动检查其中一个（用于调试）或重新处理一个。

我见过很多临时的方法来改组上传文件、交换文件名、使用日期戳、触摸“指示符”文件以帮助同步等等。我还没有看到一个全面的“算法”，用于处理处理并发性、一致性和完整性的文件。

所以，我想在这里利用群众的智慧。有没有人见过一种真正防弹的方法来处理批处理数据文件，这样它们就不会过早处理，不会在完成之前被覆盖，并在处理后安全保存？

我有一张有 4000 万行的表。
我想一次提取大约 200 万个并“处理”它们。
为什么？
处理超过 1000 万行的 Cos 处理会降低性能，并且经常超时。（我需要这个工作独立于数据大小，所以我不能一直增加超时限制。）
另外，我正在使用 SQL Server。

我编写了一个小程序来将图像从网络下载到不同的文件夹。我想创建一个快速而肮脏的批处理文件语法，并且想知道不同变量的最佳分隔符是什么。

这些变量可能包括 url、文件夹路径、文件名和一些自定义消息。

那么有没有不能用于前三个的字符呢？这将是用作分隔符的明显选择。好的旧逗号怎么样？

谢谢！

我有一个运行 SSIS 作业的批处理文件。我不知道 SSIS 工作是如何运行的，我接手了一个涉及它的项目。

批处理文件使用 %ERRORLEVEL% 来检测 SSIS 作业中发生的错误。它也必须扩展以报告其他错误。

如何在 SSIS 中设置 ERRORLEVEL？

我正在尝试使用自动热键脚本将 cmd.exe IDE 的内容提取到文本文件中，即一个 test.ahk，其编写如下所示：

我无法提取内容。谁能建议正确的提取方法？

我有一个如下所示的 .bat 文件，我想在其中将 IDE 中存在的全部内容重定向到某个文本文件。

我只能得到一些部分输出，即我无法得到在编译或构建过程中抛出的错误。这是正确的还是任何人都可以建议任何其他方式？

非常感谢麦迪