问题标签 [data-import]

我有一个 txt 文件，我可以通过以下设置完美地将其导入 Excel：

类型：分隔

分隔符： TAB

文本限定符：无

我尝试通过将输入文件读入 String[] 数组，然后拆分该 String[] 数组，将其加载到 DataTable 中。

但是，在拆分字符串时如何表示 TAB？这甚至可能吗？

如何将制表符分隔的 txt 文件导入数据表？如果用逗号分隔，我认为我的代码可以工作，但不知道如何表示 TAB？...

任何想法或代码示例显示如何做到这一点？

非常感谢任何帮助。

担

我有大约 4 天的时间来加载 400 万行数据，其中存储过程似乎需要大约 500 毫秒/行，所以我建议我们暂时重新调整两台计算机的用途，一台作为 SQL Server，一台用于提供数据。每台机器都是 4 cpu、2 核/cpu 计算机，具有大量内存。

关于如何加载数据有两种相互竞争的想法。

1. 在导入计算机上使用 VM 维护，这将我限制为 4 个使用核心。
2. 放弃 VM 进行负载，并使用所有 8 个内核进行加载。

数据库将在实际计算机上，没有 VM。

我将展示一下使用 VM 会显着影响性能，但这只是一种直觉。我需要证明这一点，所以我建议我们使用较小的数据集进行测试加载，而不是加载大约 12G 的数据，我们可能只加载 6G，并获得数字。

但是，由于我对此有过一次尝试，因此我想合理猜测两种环境中可以使用多少线程。

我的猜测是 4 个线程/核心，因为数据库事务涉及大量线程等待时间，但我不知道这是否会导致 VM 上的线程过多。我不确定如何确定要建议的合理线程数。

限制因素可能不是具有加载数据的程序的计算机，可能是数据库计算机实际上是限制因素，对于 8 核机器来说，32 个并发数据库连接可能太多了。

那么，在这两种环境中，我对每个核心 4 个线程的猜测是否合理？

计算机上的操作系统是 Windows Server 2008 R2，VM 将使用 Hyper-V。

更新：

万一这很重要，我使用的是 .NET 4，使用并行框架，所以我通过在配置文件中更改并发线程数来调整它，所以我大量使用 PLINQ。

更新 2：

今天我有个想法来加快速度，我们将使用一个 4 核 VM 进行基准测试，但 SQL Server 将使用 24G 虚拟驱动器（ram 驱动器），因为计算机有 48G RAM，并且数据库将完全在内存中. 这样，我应该能够尽可能快地用几个线程来喂它。如果这还不够快，那么我们将使用所有 12 个内核来支持它，但他们预计不需要它。所以，我应该能够在 1 天而不是一个多月的时间内加载所有数据，但是，一旦我得到一些基准，我会让每个人都知道。我可能会看到使用较小的桌面来喂它，看看使用虚拟机是否会受到惩罚，但这个盒子上只有一个虚拟机，所以 8 个核心将未被使用。Hyper-V 机器上的操作系统是 Windows Core，顺便说一句。

我已将美国政府统计数据的电子表格导入 mysql 表，目的是完成教程。

然而，似乎美国政府已经改变了它的格式，以便将一些数字用引号括起来，将它们变成字符串。

例如，这是我应该下载的制表符分隔数据的格式：

CN010010 01 001 “奥托加县，阿拉巴马州” 2005 23831 23061 770 3.2

但是，它看起来像这样： CN010010 01 001 "Autauga County, AL" 2005 "23,831 " "23,061 " 770 3.2

结果，我想作为整数导入的两个关键数据列（23831 和 23061 位）注册为 0 - 大概是因为它不符合数据类型。

现在和将来解决这个问题的最佳解决方案是什么？

提前致谢。

我在 Excel 表中有数据，这是大数据，我想将 excel 中的所有数据导入 sqlite3，我将这些数据用于 iPhone。

谢谢

FreeTDS是否支持 SQL Server 2008 R2？有没有其他好的工具可以将数据从 SQL 服务器导入到我的 centos 机器？

我必须将一个 csv 文件导入到已经创建的 SQL 数据库表中（空并且具有相同数量的命名列）。如果您能建议任何教程或提供一些提示，那就太好了。

我正在尝试从数据窗口导出数据，并且我希望这些数据根据一个特定列中的标准进入一个 Excel 文件中的不同电子表格。例如，如果 Name 列中的名称是 John，那么该行的数据应该在 sheet1 中，如果 Name 是 David，那么应该在 sheet2 中。

有没有办法做到这一点？

如何在 C# 中访问 XML 文件？如何计算该xml文件中的节点数？我应该如何访问该 xml 文件中的每个节点？

我有两个 xml 文件，其中一个是具有此代码的 dev.xml

第二个文件是 guj.xml（结构非常相似）

我需要把它变成字符映射的二维排列。

我需要抓取包含打印机控制语言 (PCL) 的旧大型机文本文件以进行数据导入。改变大型机功能不是一种选择。打印输出包含产品销售信息并具有分层输出。

我希望我设置一个 Sql Server 集成服务导入 (SSIS)。最终这将是一个带有 SQL 2005 数据库的数据导入 ASP.NET MVC 3 网站，因此我们可以避免使用 SSIS。我目前正在构建 C# ASP.NET MVC 3 网站，因此使用相关技术应该是易于管理的。

有没有人成功地用 C# 或 SSIS 中的文本模式（如正则表达式）将文本报告解析回有用的数据导入？有没有使用状态设计模式的例子？

我发现很多这些答案显示了答案的一小部分：如何加载文本文件并在 C# 中获取第 n 列。这涉及更多。我需要根据我所处的导入状态用一种模式来识别每种线型。现成的软件会更好。

文本文件示例：

在上一条消息 中按列名将表格转换为矩阵

我想对 csv 表或 R 中的表使用相同的方法。你能教我如何修改第一个命令行吗？

我应该将以下内容用于 data.csv 文件吗

我应该将以下内容用于名为 xyz 的 R 表吗

使用 cast 命令必须要有 textConnection 吗？

谢谢你。