问题标签 [file-processing]

我热衷于在新项目中使用 ESB（可能是 WSO2、Mule、Petals 或 Service Mix）。

我有许多可以在 ESB 中很好地工作的业务流程/工作流：但是我在一个特定的场景中苦苦挣扎。

基本要求是通过多个阶段处理传入的二进制文件：

• 使用外部工具预处理文件；
• 根据一些配置数据拆分文件；
• 处理每个较小的文件以计算“分数”。其中一些将由我将编写的代码处理，但在某些情况下也会调用外部软件；
• 将所有计算的分数加载到数据库中。这必须在流程结束时完成，而不是增量完成（因为只有在处理文件期间才能找到主键）；
• 将初始文件移动到存档区域。

传入的文件将被放入本地目录。所有工具都支持对目录进行轮询，因此这不是问题。

但是，根据我阅读的内容，大多数工具都希望消息的有效负载易于阅读，以便可以直接在有效负载上执行处理。在我的情况下，我只想使用传入文件来生成我的真实有效负载数据：我将写入数据库的值。

这是 ESB 可以支持的模式吗？是否有关于使用上述任何工具进行此类数据处理的文章？我应该看看其他技术/模式吗？

希望这是有道理的！

非常感谢，

肯

我有一个包含许多.frm文件的大型 VB6 应用程序。我想基本上从所有表单中“删除”代码，然后离开 GUI 设计。

快速执行此任务的最佳方法是什么？

我有多个 VB6.frm文件。请参见下面的示例。我想从代码中去掉函数和子代码，只留下表单设计。

我需要做的是找到以“属性”开头的最后一行，因为在此行之后应该删除所有进一步的内容。

使用模式匹配或类似的东西，如何处理.frm文件以便删除最后一个 Attribute 行之后的所有内容？如果我正在遍历一个文件，我如何知道最后一个 Attribute 行在哪里？

文件示例.frm：

在 VB6 中，如何遍历.frm文件夹中的所有文件并对每个文件执行操作？

我有一个小问题。我有三个文件，OldMaster、Transaction 和 NewMaster。如果 OldMaster 和 Transaction 之间的帐号匹配，我会更新余额并将其写入 NewMaster。如果它们不匹配，我将原始帐户信息从 OldMaster 写入 NewMaster 并显示错误。

文件 OldMaster 中有 4 个帐户，文件 Transactions 中有 4 个帐户交易。由于某种原因，我的程序没有处理每个文件中的第四个（最后一个）帐户/事务，并且 NewMaster 没有接收数据。

我必须通过组合两个不同的文件来处理一些数据。它们都有两列可以形成一个主键，我可以用它来并排匹配它们。有问题的文件很大（大约 5GB，有 2000 万行），所以我需要一个高效的代码。我将如何在 Perl 中执行此操作？

我举个例子：

如果文件 A 包含列

文件 B 包含列

我需要通过匹配这两个文件中的id和dob来加入这两个文件，以获得一个包含以下列的输出文件：

我觉得问这个问题很尴尬，因为我觉得我应该已经知道了。但是，鉴于我没有......我想知道如何将大文件从磁盘读取到数据库而不会出现 OutOfMemory 异常。具体来说，我需要加载 CSV（或真正的制表符分隔文件）。

我正在试验，CSVReader特别是这个代码示例，但我确定我做错了。他们的一些其他编码示例展示了如何读取任何大小的流文件，这几乎是我想要的（只需要从磁盘读取），但我不知道IDataReader我可以创建什么类型来允许这个。

我正在直接从磁盘读取，并且我试图通过一次读取太多数据来确保我永远不会耗尽内存。我不禁想到我应该能够使用 aBufferedFileReader或类似的东西，我可以指向文件的位置并指定缓冲区大小，然后CsvDataReader期望 aIDataReader作为它的第一个参数，它可以使用它。请告诉我我的方法的错误，让我摆脱我的GetData方法与它的任意文件分块机制，并帮助我解决这个基本问题。

谢谢你花时间帮我看这个。

背景：我正在为个人理财项目处理 OFX/QFX 文件。我用 C# 编写了代码，它执行得很好。我能够创建我的导入对象，逐行处理 OFX/QFX 文件并将前面提到的对象输出到控制台。但是，我将其移植到 PHP 以用于未在 .Net Framework 上编写的 Web 应用程序。

问题：一个文件由用户上传并传递给我的 PHP 文件。使用逐行读取文件时，$line = fgets($file);我没有得到预期的结果。我知道文件已打开并且正在读取该行。然而; 当我var_dump($line)在分配变量后立即输入 "string(15) "ENG ""时，我应该得到的是：

我的处理模型很大程度上依赖于读取字符串标记部分的能力，但是因为 PHP 似乎正在剥离它，所以我的代码没有按预期执行。

问题：谁能告诉我为什么我在使用 fgets() 时没有收到完整的字符串值？还有更正确的方法可以做到这一点吗？我对 .Net 非常了解，但 PHP 对我来说有点新，所以我假设这只是我不理解的 PHP 语言的一个怪癖。

谢谢

我正在尝试提高使用 C# 和 .NET 2.0 开发的 Windows 服务的性能，该服务可以处理大量文件。我想每秒处理更多文件。

在其处理过程中，对于每个文件，服务都会进行数据库查询以检索系统的一些参数。

这些参数每年都在变化，我认为如果将这些参数作为单例加载并定期刷新这个单例，我会获得一些性能。我不会对正在处理的每个文件进行数据库查询，而是从内存中获取参数。

完成场景：我使用的是 Windows Server 2008 R2 64 位，SQL Server 2008 是数据库，如前所述，C# 和 .NET 2.0。

我的方法是对的吗？你会怎么办？

谢谢！

我正在编写一些应该解析具有不同列类型和值的 csv 文件的 java 代码。基本文件看起来像这样 (CSV)，没有标题/列行。为了在处理文件时更简单，我希望能够使用列名访问每个单元格的索引值。我现在不想使用 CSV 解析器。

我考虑过使用列名的 ArrayList（按顺序），因为枚举不会像 C++ 中那样转换回整数。这样我可以做类似的事情：

我对Java相当陌生-有更好/更智能的方法吗？谢谢。