问题标签 [flat-file]

在 PHP 中创建平面文件数据库结构的最佳实践是什么？

那里有很多更成熟的 PHP 平面文件框架，我尝试实现类似 SQL 的查询语法，在大多数情况下，这对于我的目的来说是最重要的。（那时我只会使用数据库）。

是否有任何优雅的技巧可以通过少量代码开销获得良好的性能和功能？

I need to convert SAS data tables into flat files (or "ASCII files" as they were called once, as opposed to binary files). And only one flat file for each original SAS table. The challenging thing is that I want the flat file to contain some structural information of the original SAS table also, specifically:

• Variable/Column name
• Variable/Column label
• Variable/Column type
• Variable/Column length
• Variable/Column format
• Variable/Column informat

Additional information:

• I will only need to convert small data (< 100 obs).
• Performance is not an issue (within reasonable limits).
• The flat file should form a basis for recreating the original SAS table, I don't need to be able to use the file directly as a table in DATA or PROC steps.

The standard SAS tables, transport files, XPORT files, etc are all binary format files, and the standard XML table format in SAS and CSV-files don't preserve table structure. So obviously these options don't help.

What is my best option?

我有一系列来自大型机的 ASCII 平面文件，由 C# 应用程序处理。引入了带有压缩十进制 (COMP-3) 字段的新提要，该字段需要转换为数值。

文件正在通过 FTP 传输，使用 ASCII 传输模式。我担心二进制字段可能包含将被解释为非常低的 ASCII 代码或控制字符而不是值的内容 - 或者更糟糕的是，可能会在 FTP 过程中丢失。

更重要的是，这些字段被读取为字符串。我可能可以灵活地解决这部分问题（即某种类型的流），但业务会给我带来阻力。

要求为“从 HEX 转换为 ASCII”，但显然这没有产生正确的值。任何帮助，将不胜感激; 只要您可以解释转换过程的逻辑，它就不需要特定于语言。

为什么平面文本文件是表示源代码的最先进技术？

当然——预处理器和编译器需要查看文件的平面文件表示，但这很容易创建。

在我看来，某种形式的 XML 或二进制数据可能代表了很多很难跟踪的想法，否则。

例如，您可以将 UML 图直接嵌入到您的代码中。它们可以半自动生成，并由开发人员注释以突出设计的重要方面。特别是交互图。哎呀，嵌入任何用户绘图可能会使事情更清楚。

另一个想法是将来自代码审查的评论直接嵌入到代码中。

可能有各种帮助可以更轻松地合并多个分支。

我感兴趣的不仅仅是跟踪代码覆盖率，还包括查看自动化测试覆盖的代码部分。困难的部分是跟踪该代码，即使源被修改。例如，将一个函数从一个文件移动到另一个文件，等等。这可以通过 GUID 来完成，但是将它们直接嵌入到文本文件中会比较麻烦。在丰富的文件格式中，它们可以是自动且不引人注目的。

那么为什么没有 IDE（据我所知，无论如何）允许您以这种方式处理代码？

编辑： 2009 年 10 月 7 日。

你们中的大多数人都非常关注我的问题中的“二进制”这个词。我收回它。图片 XML，非常少地标记您的代码。在你将它交给你的普通预处理器或编译器之前的那一刻，你去掉了所有的 XML 标记，只传递了源代码。在这种形式下，您仍然可以对文件执行所有常规操作：差异、合并、编辑、在简单且最小的编辑器中使用，将它们提供给数千个工具。是的，直接使用最少的 XML 标记进行差异、合并和编辑确实有点复杂。但我认为价值可能是巨大的。

如果存在尊重所有 XML 的 IDE，那么您可以添加比我们今天所能做的更多的东西。

例如，您的 DOxygen 评论实际上可能看起来像最终的 DOxygen 输出。

当有人想要进行代码审查时，比如 Code Collaborator，他们可以在适当的位置标记源代码。

XML 甚至可以隐藏在注释后面。

然后如果你想使用 vi 或 emacs，你可以跳过评论。

如果我想使用最先进的编辑器，我可以通过十几种不同的有用方式看到这一点。

所以，这是我的粗略想法。这不是你在屏幕上拖动图片的“积木”......我没那么疯狂。:)

我想保存我在程序中生成的对象。重新启动后，应用程序应自动加载数组中的所有对象。我想将它们写入文件并在重新启动后解析它们。还有其他比手工更聪明的可能性吗？谢谢

我有一个包含标题和详细记录的平面文件架构。它看起来像这样：

我需要在消息末尾附加两个空行。现在，如果我有多个记录，我会得到以下输出：

我想看到的是这样的：

我可以构建一个自定义管道组件来执行此操作，但我想知道是否有更简单的方法来获得我需要的东西？

所以我的程序基本上需要逐行遍历一个纯文本文件：

等等，直到完成整个文件，是否有人知道任何好的编码示例，所有教程似乎都显示打开和写入/读取文本文件，但没有关于如何逐行执行。

本质上，我必须将平面文件放入数据库。平面文件的每行前两个字符指示它是哪种类型的记录。

我是否为每个记录类型创建一个类，其属性与记录中的字段匹配？我应该只使用数组吗？

我想在将数据保存到数据库之前将数据加载到某种数据结构中，以便我可以使用单元测试来验证数据是否正确加载。

这是我必须使用的示例（BAI2 银行对账单）：

我正在设计一个系统，它以 CSV 文件的形式从多个合作伙伴那里接收数据。这些文件的列数和顺序可能不同。在大多数情况下，我会想要选择列的一个子集，也许对它们重新排序，然后将它们交给解析器。我显然更希望能够将传入的数据转换为某种规范格式，以使解析器尽可能简单。

理想情况下，我希望能够使用一些图形工具为每种传入的数据格式生成转换，并将转换作为文档存储在数据库或磁盘上。收到数据后，我将应用正确的转换（不管我如何确定正确的转换）来获得规范格式的 XML 文档。如果传入的文件包含 XML，我会为每种格式创建一个 XSLT 文档，然后就可以了。

我过去曾使用过 BizTalk 的平面文件 XSLT 扩展（或它们所称的任何东西）来处理类似的事情，但我不想在这个项目上遇到 BizTalk 的麻烦（我也买不起）。

有谁知道是否有替代技术和/或 XSLT 扩展可以让我以优雅的方式实现我的目标？

我正在.NET 3.5 SP1 上用 C# 开发我的应用程序（因此更喜欢.NET 支持的技术）。

Java中是否有一种简单或直接的方法将数据库查询的结果输出到文件（csv、tab等）。甚至在 Hibernate 中？

我知道查询结果可以转储到数据库服务器上的平面文件中。我正在寻找一种应用程序可以运行查询并将这些结果放入文件的方法。

我意识到一种选择是只遍历结果集并一次输出一行记录，并用分隔符分隔。但是如果有一个内置的方式，或者一个休眠方式——那就更好了！

我真正在寻找的是一种在代码中执行此操作的方法（例如 - 当应用程序运行时）。这样，服务器可以接受查询，针对数据库运行它，将输出发送到平面文件。

发送查询的服务器并不真正需要文件本身，只需要知道它是否有效。因此，如果有 SQL（对于 Oracle DB）可以将输出重定向到 Oracle DB 服务器有权访问的目录中的平面文件 - 那也可以。我真的不必在 Java 服务器中实际编写文件 - 只需根据它的查询触发文件创建。

希望这是有道理的。