问题标签 [flat-file]

我在使用 SSIS 数据导入向导将数据从制表符分隔的平面文件（TSV 文件）上传到 SQL Server 2005 时遇到问题。使用 SQL Server 2000 中的等效过程我没有遇到此问题，并且我检查了我尝试导入的文件的内部结构在 SQL Server 升级发生之前就没有改变。

问题是具有数字数据类型（例如 smallint、float 等）的列中的所有空白值在导入时都被转换为 0，而不是 NULL。这意味着对这些数据进行 AVGing 会给出错误的输出。

TSV 文件不包括文本限定符，但是使用一些虚拟数据测试限定符的使用并没有解决这个问题。

可以通过导入 VARCHAR 列来保留 NULL，但这远非理想。有没有办法指示 SSIS 导入/导出向导将空白值从平面文件导入数字数据类型为 NULL 而不是 0 的列？

我正在寻找有关在 c#.net 中将传入的 EDI 940 (X12) 转换为 (|) 管道分隔的平面文件的任何有用的链接或建议

我在 VS 2008 中创建了一个 SSIS 包，它解析来自共享文件夹的平面文件并将记录放入 SQL Server 数据库中。

我最近在一个新工作站上安装了 Windows 7 和 VS 2008。当我从 TFS 导入包并打开它时，出现错误

验证错误。解析和导入目录平面文件：MySSISPackage：连接中指定的文件名“\\shared\flatfile.txt”无效。

当我打开平面文件连接管理器编辑器时，出现错误说明：

必须选择有效的文件名

我可以从编辑器中浏览并选择文件，但由于此错误，我无法更改任何属性，或离开“常规”选项卡。

如果我回到最初创建包的笔记本电脑 (Windows XP)，则不会出现错误。两个工作站都在同一个域上，我使用相同的凭据登录。

关于为什么我会从一个工作站而不是另一个工作站收到此错误的任何想法？

更新：如果我从正在运行的工作站获取 .dtsx 包并将其加载到服务器上的 SSIS 中，则在尝试运行时会出现以下错误：

错误：连接中指定的文件名“\\shared\flatfile.txt”无效。

和...

错误：连接“MySSISPackage”验证失败。

和...

错误：文件名属性无效。文件名是设备或包含无效字符。

更新 2：

a) 我试图从中提取平面文件的共享文件夹是 Unix 机器上的 Samba 共享。

b) 如果我在任何 64 位平台（Windows 7 64 位、Vista 64 位、Windows Server 2008）上使用 SSIS 访问文件，我会收到错误消息“必须选择有效的文件名”。

c) 从 32 位环境（Windows XP 32 位、Windows Server 2003 32 位）使用 SSIS 访问文件没有问题。

d) 如果我将文件移动到 Windows 服务器上的共享文件夹，64 位 SSIS 会识别该文件。

只是寻找一个可以以相当简单的方式以编程方式调用的组件来导入平面数据文件。数据通常为 100,000-500,000 行，每行包含大约 200 个文本字段，长度约为 5 到 250 个字符。数据可以是 CSV、制表符分隔等。

这有一些预算，但如果可能的话，我想保持相当便宜。

我有一个当前在我编写的 Delphi 应用程序中运行的进程，我需要将其转换为将在我们的 Web 应用程序上运行的 Java 进程。基本上，我们的州财政（旧版）系统在特定输出中需要此文件。在德尔福中是这样的：

Java 中的 Format 选项是否有等价物？还是保存到文本文件的 TStringList？

感谢您提供任何信息....没有做过很多Java编程！

莱斯利

我们以平面文件的形式接收大量数据：分隔或只是固定长度的记录。有时很难找出文件实际包含的内容。

是否有任何成熟的做法可以将文件的架构嵌入到文件的开头或结尾以使文件不言自明？

只是为了得到一个想法，想象一下这样的事情：

我们将在开始时解析 xml 并将其用于读取记录。

我目前担任数据仓库程序员的职位，因此必须通过 ETL 流程放置大量平面文件。当然，在加载文件之前，我必须了解它的内容，问题是大多数文件都大于 1 GB，我无法使用我亲爱的老朋友“记事本”打开它们。开玩笑。我通常使用 VIM 或 Notepad++，但打开文件仍然需要一段时间。我可以使用 VIM 或其他编辑器对文件执行“部分”读取吗？

PS 我知道我可以编写一个 10 行脚本来“数据样本”文件，但是说服团队成员使用编辑器的功能比我编写的脚本更简单。

感谢您提供的任何见解。

我正在努力升级我们的网站以使用不同的语言。

我的计划是以多种语言存储文本段落并给每个段落一个标识符。

示例
id => '1'
brief => 'welcome_paragraph'
en => '欢迎来到我们的网站！'
de => 'Willkommen auf unserer 网站！'

要求

• 快速检索
• 随时通过 CMS 编辑
• 易于添加新语言

那么将其存储在数据库表中的最佳解决方案是什么？如果是这样，以下哪个是最好的表设置：

一个表，每种语言的列和每个简报的行：

或者两张表，一张带短文，一张带翻译：

在每一页，我打算做......

echo $page->translate($language, $brief);

多次显示需要的文本....继续调用数据库会很慢：

每页多次？因此有更好的方法将其存储为平面文件吗？还是更新时生成的包含大量翻译的 PHP 文件？

就像 Zend Translate 页面上的示例一样， 我目前不考虑使用 Zend Translate……我认为它是有成本的？

我有一个 Biztalk 项目，它导入传入的 CSV 文件并将其转储到数据库表中。导入工作正常，但我只需要从一个超过一百万行的文件中保留大约 200-300 条记录。我的编排丢弃了这些行，但问题是我正在导入的平面文件仍然是 250MB，当使用常规平面文件管道转换为 XML 时，处理需要数小时，有时会导致服务器耗尽内存。

我可以做些什么来让自定义管道本身丢弃我不关心的行吗？每个 CSV 行中的第一项是几个字符串之一，我只想保留以某个字符串开头的行。

感谢您提供的任何帮助。

我和一个朋友正在讨论他是否应该使用 MySQL 或平面文件数据库作为他网站的后端。我告诉他选择 MySQL，因为它结构清晰，记录良好，并且是一致的。另一方面，他说他宁愿追求速度。读取文件比连接 MySQL 快得多，这让我怀疑他是否正确。例如，为什么不为每个表创建一个文件夹，如下所示：users/ groups/ posts/，在文件夹中有由 ID（1，2，3）命名的文件，然后为数据使用如下格式：username: John\npassword: e2fc714c4727ee9395f324cd2e7f331f\nemail: example@example.com？

换句话说，MySQL 相对于平面文件有哪些优势？