问题标签 [batch-processing]

我有一个网站，用户可以在其中上传 Excel 电子表格以在表格中加载数据。excel 电子表格中可以有几十个 100k 行。当他上传文件时，网站需要在数据库表中插入等量的行。

我应该采取什么策略来做到这一点？我正在考虑在操作完成之前显示“请等待页面”，但我希望他能够继续浏览该网站。另外，由于当时的数据库会很忙——这不会阻止人们在网站上工作吗？

我的数据访问层在 NHibernate 中。

谢谢， Y

我想在批处理文件中调用 java 类。我怎么打电话。可以告诉我任何调用类文件的命令

谢谢克里希纳

我需要在我的网站上使用 HTML 5。

视频采用 H.264 格式。

非 WebKit 浏览器，比如 Firefox 不支持它。Firefox 需要 MPEG-4。

我在网上冲浪了一点，但没有找到适合这项任务的任何东西。

问题是：

• 您能否推荐一些免费的批量视频编码器（命令行或非命令行），它支持 HTML 5 视频的所有视频/音频格式。我现在需要转换大约 20 个视频文件。
• 还有哪些视频格式应该用于跨浏览器友好？我知道 H.264、OGG 和一些 WebM（从不关心它）。是否有每个浏览器支持的视频格式列表？

谢谢

忘了提一下：我在 Mac 上

如何使用 ANT 重命名 1..n 文件？我想用 to 重命名任何xxxx.default.properties文件xxxx.local.properties。

谢谢你。

从几个小时开始，我试图在我的本地设置的 MongoDB 集合中添加批量数据，除了一个或多个键的唯一索引之外，所有的都设置好了:(

我用过这个：

然后这个（因为我猜出于某种原因，多键索引不起作用）

使用上述行后，我尝试从 php 脚本中插入数百万行（通过 insert 和 batchInsert），并且每次都存在重复的用户 ID :'( 请在这方面指导我 :(

我需要操纵图像，使其子矩形相对于图像的其余部分翻转或旋转。这是一个例子：

这种操作需要发生多次，每次都从原始图像生成一个新的修改图像（而不是对一个图像应用连续修改）。

子矩形的大小需要系统地变化（可能以 5% 的增量从 10% 到 75%）并且子矩形的位置需要随机变化。

最后，需要对大量图像执行此过程。

我该怎么办？

我的选择是 PHP、C# 或 Gimp 中的批处理。也就是说，如果有特别明智的方法，我准备学习新的东西。

我有一个创建模板化目录结构的应用程序（Templify），但它似乎无法用我确定的目标重命名“__NAME__”。

如果我能找到一种干净的方法来用我的替换文本重命名所有文件和目录，那就很好了。

我找到了一个重命名文件的 rename.pl 方法，并且我发现了一些删除文件名中的下划线并将其替换为空格的代码......但是当我修改代码以放入我的搜索词时，它似乎永远不会工作。

所以，基本上，我需要用“项目名称”之类的东西替换“__NAME__”。

我很乐意为将来的每次重用修改搜索字符串，但我很想弄清楚如何创建一个可以将 ARGS 传递到的文件。

我在 XP 上并且可以使用 cygwin（cygwin 似乎没有“重命名”，这使得使用名为“重命名”的函数很难找到 linux 类型的解决方案......）

我确实发现这很容易用于当前目录中的文件，但我不知道如何告诉它递归到子目录中。

任何帮助都会很棒。

谢谢，斯科特

.NET 的 Oracle 驱动程序（程序集 Oracle.DataAccess）没有太多文档，那么我在哪里可以阅读有关批量读取的信息？或者也许有人可以提供一个例子？

My current project requires everyday synchronization with external system. The synchronization is based on complex import file structure which is parsed and processed with extensive business logic. Due to the business logic we decided to make this in .NET code and reuse existing BL components instead of writting the same logic in stored procedures or integration services.

The BL layer sits on top of EF 4.0 data access layer. Current implementation process the import batch, fills all changes into ObjectContext and executes SaveChanges in transaction. When I check SQL profiler I see that EF executes each entity change as single SQL command (with its own round trip to DB). Moreover it looks like these commands are executed fully sequentially. So I have up to 100.000 roundtrips to database for initial import and between 10.000 - 50.000 roundtrips to database for daily synchronization.

Is it possible to batch insert/update/delete commands somehow by EF itself or by some provider / extension?

我有一个 WCF 服务，它处理来自 SAP 的数万条记录的提要。服务调用将 XElement 作为其主要参数并处理 XML 以更新我们数据库中的记录。当前的意图是让 WCF 服务被异步调用，并让服务调用向调用者发送回相同的文档，其中包含处理的每条记录的状态。

我也在研究多线程处理数据的方法，尽管这最终可能不会给我买任何东西。

因为这可能需要一段时间，所以我担心如果 WCF 服务停止运行、重新启动等会发生什么情况。我需要知道我处理了哪些记录，哪些还没有处理，并且能够完成处理在剩下的记录上。

我能想到的最好的办法是用状态更新每个节点（无论如何，我必须这样做，以发送回调用者），然后将此文件保存到硬盘驱动器。但是保存一个可能达到 100,000 倍的大文件似乎并不可行。

在处理这些记录时，我还可以使用哪些其他策略来跟踪它们？

蒂亚！
詹姆士