问题标签 [csv-import]

我有一个 CSV 文件，我直接将其导入到 SQL 服务器表中。在 CSV 文件中，每一列都用逗号分隔。但是我的问题是我有一个“地址”列，并且该列中的数据包含逗号。所以发生的事情是地址列的一些数据将进入其他列将导入到 SQL 服务器。

我该怎么办？

我想在 C#.net 中将 65545 行从 csv 插入 SQL Server 2008，但我需要在我的程序中重新排列数据。

哪种方式是将这些行插入 SQL Server、SQLBulkOperations 或使用事务并逐行插入或使用多插入的最佳方式。

我目前正在开发一个 powershell 脚本，该脚本将查看 CSV 文件，获取包含的信息并（以及脚本中定义的几个值）填充 AD 用户属性。

最初我有这个工作，但所有预定义的值都在 CSV 文件中（从 Excel 电子表格转换而来），但公式不会逐行保留。

所以我将它们移到脚本中，但它只是暂停，好像在等待更多输入。

以下是 CSV 文件当前将包含的内容

FirstName,LastName,Department,Title,PhoneNumber
Joe,Schmoe,Support,Someone of Something,###-###-####

这是导入脚本

Import-CSV $newHire | ForEach-Object -process {new-QADUser -ParentContainer $OU -Name = $_.FirstName $_.LastName -FirstName $_.FirstName -LastName $_.LastName -DisplayName = $_.FirstName $_.LastName -SamAccountName = $_.FirstName'.'$_.LastName -UserPrincipalName = _.FirstName'.'$_.LastName'@domain.com' -Email = _.FirstName'.'$_.LastName'@emaildomain.com' -LogonScript logon.bat -Department $_.Department -Title $_.Title -PhoneNumber $_.PhoneNumber -UserPassword p@55w0rd -Company "CompanyName"}

$OU 和 $newHire 的变量工作正常，并且包含在我的用户帐户可访问的共享文件夹中。

任何帮助将不胜感激！

我有一个非常大的 CSV 文件（几百 MB），我试图将其导入 Postgres 表，出现问题时出现一些主键违规（CSV 文件中的重复记录）

如果是这样，我可以手动过滤掉这些记录，但这些文件是由每小时生成此类数据的程序生成的。我的脚本必须自动将其导入数据库。

我的问题是：有什么办法可以在 COPY 命令或 Postgres 中设置一个标志，以便它可以跳过重复记录并继续将文件导入表？

根据此处指定的标准：http ://en.wikipedia.org/wiki/Comma-separated_values

以及从 MS Excel 生成的 CSV 文件，我想知道在这种情况下我们如何在 php 中导入 CSV 文件：

• 通常情况下，CSV 单元格不包含在双引号 (") 中，但当单元格值中有逗号 (,)、双引号 (") 或换行符 (\n) 时会包含在其中。

• 单元格中的双引号被替换为两个双引号 (" => "")。

• 例如 testCell 1,"test,comma cell 2","testCell ""double quote"" 3",testCell 4

现在，问题是，我们如何在读取此类 CSV 时识别/分隔每个单元格，因为单元格可能用双引号括起来，也可能没有。

添加新的简单产品时（通过 CSV 或手动），我们需要检查是否已添加适当的可配置产品（其中 SKU = "item_number-item_colour_code" 例如 BLEA2606B-BK001）。如果可配置产品存在，则关联简单产品。如果可配置产品不存在，则使用简单产品中的数据创建，然后关联简单产品。我从这里找到了一些帮助，但不知道如何检查可配置产品是否已经存在，如果不知道如何创建。

这是我下载的脚本文件。任何人都可以建议这是否适用于我的场景？

已编辑

我已经放弃了在导入中创建可配置产品的想法。我现在通过捕获 catalog_product_save_after 事件来做到这一点。希望这能让我到达某个地方。

已编辑 2

好的，最后，我让它工作了。我正在观察者中做这件事。我知道它会减慢产品保存过程，但想不出任何其他方式。这就是我正在做的事情：

手动产品保存/更新和导入 csv 都可以正常工作（速度很慢但有效）。唯一的问题是，在可配置产品中，属性名称字段为空。如何在那里设置属性名称？

我已经GeoLiteCountry从 Maxmind - http://www.maxmind.com/app/geolitecountry下载了 CSV 文件。使用给我的标准格式（以便这可以成为一项自动化任务）我正在尝试将所有数据导入表中。

我创建了一个新表IPCountries2，其中的列与提供的列完全匹配：

使用我能找到的各种代码块，我无法使用字段终止符和行终止符让它工作：

这样做的结果是插入了一行，除了最后一行溢出了下一行（如果我没有限制，大概是整个数据库）之外，所有的都是正确的。此外，第一个单元格的开头有一个引号。

我环顾四周，发现了一个叫做格式文件的东西（从未使用过这些）。做了一个看起来像：

但在 bigint 行上出现此错误：

消息 4867，级别 16，状态 1，第 1
行第 1 行第 3 列 (BeginNum) 的批量加载数据转换错误（溢出）。

它这样做了 10 次，然后由于最大错误计数而停止。

如果我将第一种方法放入 Excel 并重新保存，我就可以使用它，这会删除引号。但是，我不想依赖这种方法，因为我希望它每周自动更新，而不必手动打开和重新保存。

我不介意我最终使用这两种方法中的哪一种，只要它适用于干净的文件即可。我查看了他们的文档，但他们只有 PHP 或 MS Access 的代码。

编辑

CSV 文件中的一些行：

更新

经过一番坚持，我能够使用原始方法（没有格式文档）使事情正常工作 95%。但是，它稍作更改，看起来像这样：

一切都按应有的方式进入正确的字段，我唯一遇到的问题是在第一列的开头有一个引号。一些样本数据：

我有一个 PHP 脚本，它调用 MySQLLOAD DATA INFILE从 CSV 文件加载数据。但是，在生产服务器上，我最终遇到了以下错误：

用户拒绝访问...（使用密码：是）

作为一种快速的解决方法，我将命令更改为LOAD DATA LOCAL INFILE有效。但是，相同的命令在客户端服务器上失败并显示以下消息：

此 MySQL 版本不允许使用的命令

我认为这与服务器变量有关：如此处local_infile = off所述。

请提出不涉及更改服务器设置的解决方法。请注意，安装在同一台服务器上的 phpMyAdmin 实用程序似乎接受 CSV 文件，但我不确定它是否使用LOAD DATA (LOCAL) INFILE.

我目前正在尝试将大约 10000 行（来自 CSV 文件）导入现有表。

我只有 1 列要导入，但在我的表中我有另一个名为的列TypeId，我需要将其设置为静态值，即99E05902-1F68-4B1A-BC66-A143BFF19E37.

所以我需要类似的东西

任何例子都会很棒。

谢谢

我们一直在尝试修改 Customer.php 文件 ( import/export ) 以使其在从 CSV 文件导入客户时自动发送新帐户详细信息。

我们在正确的领域工作，因为我们放弃了一个简单的 mail() 调用，该调用被调用（我们收到了电子邮件）每个新行。当试图让它生成一个新的随机密码并发送新的帐户详细信息时会出现问题 - 它从不发送任何邮件，我们无法弄清楚为什么！代码如下（从 app/code/local/Mage/ImportExport/Model/Import/Entity/Customer.php 编辑）