问题标签 [tsv]

我们从供应商那里得到一份产品清单，通过 ftp 传送到我们的站点。我需要创建一个脚本，通过该文件（制表符分隔）搜索与我们相关的产品，并使用这些信息来更新库存水平、价格等。

该文件本身大约有 38,000 行长，我想知道处理这个问题的最佳方法。我最初能想到的唯一方法是使用fopen然后fgetcsv循环遍历每条线。将该行放入数组并查找相关产品代码。我希望有一种更有效的方法（尽管我还没有测试过这种方法的效率）

我要阅读的文件是 8.8 Mb。所有这些都需要自动完成，例如由 CRON 每天完成。

编辑 - 更多信息。我已经运行了我的第一次试验，并且基于 2 个答案，我有以下代码： 我有我需要从数组中的数据库中的文本文件中挑选出来的项目$items[$row['item_id']] = $row['prod_code'];

虽然这目前没有给出正确的输出

在将大约 30,000 行数据从制表符分隔文件导入 Access 数据库时，我无法获得所需的速度。文件导入由我编写的 VB.net 2010 程序管理。

该程序当前循环遍历每一行并为每一行发出一个 SQL 插入语句。然而，这需要大约 2 小时才能完成。如果我使用 Get External Data 手动将同一个文件直接导入访问，大约需要 30 秒。

我在想我可能能够创建一个链接到 MS 访问的 datagridview 并以某种方式运行本机 .net 命令将文件导入到 datagridview 中，然后快速写入要访问的数据，但我不确定这是否可能。

顺便说一句，手动导入不是一种选择，由于各种原因，它需要通过 vb.net 应用程序。

任何人都可以就我如何加快速度提供任何建议吗？

谢谢西蒙

是否有内置函数可以从 MATLAB 中的制表符分隔的文本文件中读取科学记数法？

一行数据如下所示：

我试过tdfread(filename, delimiter)没有成功。

我有 2 个文本文件，“animals.txt”和“colors.txt”，如下所示，其中每行中的 2 个字符串由制表符分隔。

“动物.txt”

“颜色.txt”

我想编写 Python 代码：

1. 对于“animals.txt”中的每一行，第一列中的字符串（12345，然后是 23456，然后是 34567）
2. 将此字符串与“colors.txt”中第一列中的字符串进行比较
3. 如果找到匹配项 (12345 == 12345, etc) ，它会写入两个输出文件：

output1，包含animals.txt的行+colors.txt第二列对应查询值（12345）的值：

output2 包含 colors.txt 的第二列中与查询值相对应的值列表（12345，然后是 23456，然后是 34567））：

我正在尝试解析一个巨大的制表符限制文件（tsv 文件）并将其转换为逗号分隔值文件。我遇到的问题是，并非 tsv 文件中的所有条目都是完整的，其中一些条目不完整，并且由条目之间的多个制表符间距表示。现在，当我将其转换为 csv 文件时，我希望它们之间有“na”，表示该记录字段中没有任何条目。

例如，考虑学生记录示例（1 个制表符 = 4 个空格，请忍受我糟糕的格式）

在上面的示例中，第一条记录表示字段标题，每一行都是一条记录。我们可以观察到 Tom 缺少“部门”字段条目，而 Kelsey 缺少“GPA”字段条目。我的输出应该是这样的：

我的问题：
1) 我该如何解决这个问题？Python、java、bash、awk 任何脚本都可以
2) 观察“部门”字段下第二行中“计算机”和“科学”之间的空格被忽略并保留。所以生成的脚本不应该计算空格。

完美地做到这一点非常重要，因为我将为搜索索引提供数据。提前致谢。

我可以使用 C# 以某种方式将 Excel .XLS 文件转换为 txt-tsv（制表符分隔值）文件吗？

如何在制表符分隔的数据源上使用 Linq2SQL 查询？

我喜欢创建一个通用代码库，其中 2 个 tsv 文件可以包含任意列数，并且一旦将 linq 查询传递给程序，它就会输出结果数据。

通常是 mySQL 脚本的新手。

使用 infile 将自动生成的 tsv 文件上传到本地 mySQL 服务器。Windows 调度程序运行启动文件上传的批处理文件。

问题是每次批处理文件在文件进程中运行时，表中的条目都会重复。

有没有办法让它们追加而不是简单地写？我是否需要条目的密钥才能识别条目？

感谢所有帮助。提前致谢。

我有一个难题。我在这里有一段代码，它是“多系列”画廊示例的稍微修改的示例（对不起，10 个代表，并且不能链接超过两次）并使用这个 .tsv 文件。期望是将当前在代码中绘制的数据（“流”列）与未绘制图形的数据（+Avgstream 和 -Avgstream）列放在同一个 SVG 上。但是，在我完成的每个 D3.js 项目中，我都无法在图表上画出直线。目前在此图中，仅绘制流列。这是我尝试一种简单的方法来表明流的结果在我正在使用的数据的运行平均值之内或之外。

关于为什么这些线不会绘制的任何想法？

我正在为我的一个客户在 perl 中编写小脚本，该脚本将从数据库中提取某些数据并通过附件将包含此数据的电子邮件发送给客户。脚本本身不是问题，问题是文件。我认为标准的 .csv 文件会很好，并且脚本正在做它应该做的事情而没有任何问题，但是客户端处理数据的进一步软件需要没有任何分隔符（如双引号）的 .tsv 文件。问题是数据库数据包含他们需要的特殊字符，例如带有换行符和双引号的文本。一旦脚本运行它会创建 .tsv 但特殊字符会弄乱它，因此需要以某种方式对其进行转义，不幸的是我不能像在 .csv 文件中那样使用双引号。有没有更好的解决方案？

谢谢。