问题标签 [flat-file]

好朋友告诉我公司的高层，平面文件是要走的路，我们应该为我们所做的一切从 SQL Server 切换到它们。我们有超过 300 台服务器和数百个不同的数据库。从我参与的少数人来看，我们有超过 100 亿条记录，其中不少人每天有超过 10 万条新记录，谁知道有多少更新……我和其他几个人需要做出回应说为什么我们不应该这样做。我们的大部分东西都是带有一些旧版 ASP 的 ASP.NET。我们认为制作一个简单的控制台应用程序来测试/计时平面文件（存储在网络上）和网络上的 SQL 之间的相同交互，执行大型插入、搜索、更新等以及网络随机断开连接之类的事情。这将向他们展示平面文件的糟糕程度，

我应该在回复中使用哪些内容？我应该如何处理我的演示代码来说明这一点？

到目前为止我的排序列表：

• 安全
• 并发访问
• 大量数据的性能
• 进行如此大规模的重写/切换所需的时间和巨额的成本
• 缺乏交易
• PITA 将关系数据映射到平面文件
• NTFS 不能很好地支持目录中的大量文件
• 缺乏临时数据搜索/操作
• 加强数据完整性
• 从网络中断中恢复
• 等待其他客户端更改提交时的客户端延迟
• 大多数人很久以前就停止使用平面文件进行这种类型的存储，这是有充分理由的
• 负载平衡/复制

如果我现在不能阻止它，我担心有一天这将成为 Daily WTF 上的一个很棒的帖子。

此外

有谁知道是否可以在这场战斗中使用有关 HIPPA 的任何信息？我们的许多记录都是患者记录...

我以前没有为嵌入式系统做过很多编程，现在我必须为相对较小的东西创建一些脚本（<60MB RAM，几乎所有这些都已被其他更关键的进程使用，处理器小于 ~ 500MHz）。我不能运行一直在运行的东西，所以 Firebird 出局了。我建议使用 sqllite，但更熟悉该平台的人告诉我，即使这样也可能会消耗过多的内存和处理能力。

我将在 Perl 中对原型进行编程，并且可能需要重新编写我在 c 中创建的脚本，以便以后获得更好的性能。我希望以后重做时能够重用我创建的数据结构。到目前为止，我的大部分经验都是在 MySQL 中进行的，所以如果语法与此类似，那就太好了。有什么建议么？

抱歉，我无法更详细地描述我正在开发的平台。

我有一个大文件，我想通过 php 读取，然后将各种字段插入 MySQL。

提要中的每个文件都是纯文本格式，分为列和行。每条记录都有相同的字段集。以下是每个字段和记录的分隔符：

字段分隔符 (FS)：SOH（ASCII 字符 1） 记录分隔符 (RS)：STX（ASCII 字符 2）+“\n”

如果我查看文件的前几行，它们看起来像这样：

为了将这个文件读入 PHP，我正苦苦挣扎，任何人都可以帮助基本的 PHP 读取每条记录，并为每个字段分配一个变量，然后我就可以将其写入 MySQL。一旦设置了各种字段，我就可以处理写入 SQL 的操作。

提前致谢，

格雷格

我想以高分的形式存储一些值。但由于我不会存储超过 5 个值，因此使用 SQLite 似乎并不合适。我正在考虑的另一个选择是平面文件，但我不知道该怎么做......

我必须将平面文件导入 SQL Server。到目前为止，我已经使用 SSIS 包和 Delphi 程序来完成这项工作，但我正在加载越来越多的文件。许多都非常宽（超过 90 个字段）并且它们都有自己的特点：有些是固定宽度的，有些是由用作字段和行分隔符的大量字符分隔的，有些使用“始终插入”模式，而另一些则使用“始终插入”模式使用“更新或插入”等。其中许多文件的大小为几千兆字节，这使得处理它们变得更加困难。

现在我开始怀疑是否没有更好的方法来处理这个问题：一些专门用于做这种工作的工具，可以以合理的方式使用：SSIS 很好，但坦率地说，使用 GUI做 99% 的工作使得在处理非琐碎任务时完全不切实际。

有人愿意提出解决方案吗？

我有一个由 C 程序生成的平面文件。文件中的每条记录都包含一个固定长度的标头，后跟数据。标头包含一个指示后续数据大小的字段。我的最终目标是编写一个 C#/.NET 程序来查询这个平面文件，所以我正在寻找使用 C# 读取文件的最有效方法。

我无法在以下代码中找到第 7 行的 .NET 等效项。据我所知，我必须发出多次读取（使用 BinaryReader 为标题的每个字段一个），然后发出一次读取以获取标题后面的数据。我正在尝试学习一种在两次读取操作中解析记录的方法（一次读取以获取固定长度的标头，第二次读取以获取以下数据）。

这是我尝试使用 C#/.NET 复制的 C 代码：

这是标头的 C 结构：

我想出了这个 C# 对象来表示 C 标头：

有没有办法在不知道文件中列的数据类型的情况下将平面文件作为新表加载到 SQL Server 中？

我知道可以使用 BULK INSERT 加载平面文件数据，但必须首先创建一个与传入文件中的数据类型匹配的目标表。OPENROWSET 需要创建一个指定传入数据类型的格式文件。有没有办法让 SQL Server 自动内省文件、确定数据类型并一次性加载数据？

我正在编写一个 iPhone 应用程序，它应该解析来自网络的平面文件，从平面文件创建托管对象，然后应该在 UITableView 中显示它们。保存和显示都没有问题，但我就是无法掌握一个好的解析器。

这就是我要解析的文件：平面文件

据我所知，我不能将 NSXMLParser 用于此任务（因为显然没有标签）。

所以我一开始尝试编写一个 NSScanner 来获得有趣的属性 --> 没有成功

现在我正在使用这种方法：

我正在使用 memberTempCounter 来识别属性。

问题是：

• 这只适用于 4 次中的 3 次。应用程序崩溃 4 次中的 1 次，我不知道为什么......
• 该方法具有类似于 1962 年大众甲壳虫的性能。在我的 iPhone 3G 上解析整个数据块最多需要 3 分钟

有什么想法或更简单的方法吗？

我真的很感激。提前致谢： -）

我有一个拥有 200 多个用户的面向游戏的网站。该网站有一个大型数据库跟踪用户游戏，继续参与的动机之一是该网站为用户提供的广泛的统计数据和排名 ( S&R )。

随着跟踪的 S&R 列表的增长，一些更复杂的计算已移至数据库中的表中，而不是动态生成以提高页面加载速度。

但是，我计划在今年年底前从广泛的 S&R 转变为详尽的 S&R，将用户可用的数据点总数增加 10 倍。我已经决定停止进行动态查询，并将所有计算移至 cron 作业，但我不确定将数据存储在哪里。

给定用户群<1000，将这些数据放在数据库中或为每个用户的统计数据读/写一个文本文件是否更有意义？

这些是我认为的主要优点和缺点：

在数据库中存储 S&R

在文本文件中存储 S&R

但是我以前从来没有做过这么大的事情，所以我不确定（例如）一个 200 多个表的 MySQL 数据库是否真的是一个问题？

我很感激你能提供的任何建议！:-)

我有一个固定宽度的平面文件。更糟糕的是，每一行可以是新记录，也可以是上一行的子记录，由每行的第一个字符标识：

我尝试过使用Flatworm，它似乎是解析固定宽度数据的优秀库。不幸的是，它的文档指出：

（同上，“重复段”）。

我宁愿不为此编写自定义解析器。是否（1）可以在 Flatworm 中执行此操作，或者（2）是否有提供此类（多行、多子记录）功能的库？