问题标签 [data-import]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
781 浏览

r - 导入缺少文本限定符的 txt 文件

我有一些文本文件(csv 格式)缺少一些文本限定符,例如第二行,以下五列(AMM):

我设法通过循环这些代码的列来发现不一致的行:(只需将以上内容保存在 txt 中)

但是在我的文件中,字段内有逗号(由于地址),因此我也得到误报......

你们中的一些人曾经遇到过这样的问题吗?如果是这样,你有什么想法?

0 投票
0 回答
1017 浏览

mysql - 从 Excel 到 MySQL 的 Toad 导入导入的行数少于预期

我有一个 13MB 的 .xlsx 文件,我想使用 Toad 6.3.0.642 将第一张工作表导入 Mysql 服务器中的表中

它几乎可以正常工作,但它导入了 4264 行,它应该是 4284。它不会引发任何错误并显示读取行 = 4264 和写入行 = 4264。

我怎样才能调试这个过程,以便找到丢失的行?

0 投票
1 回答
269 浏览

solr - solr delta 导入处理程序时间戳不够具体

我是 solr 的新手,我对 delta-imports 有一个非常基本的问题。我的 mySQL DB 中有几条新记录。因此,当我在第二个 x 开始导入时,很有可能在开始导入后的同一秒内我会在数据库中获得一些新记录,但是下次我开始 delta-import 时,它会检查“ dataimport.properties 中的 last_index_time" 并将导入第二个 x 之后更改的所有记录。因此,在开始最后一次导入后,我将丢失在第二个 x 中已更改的所有记录。如果我是对的,即使可以将时间戳从秒更改为毫秒,这也是同样的问题。时间窗口会更小,丢失的记录数量会更小,但问题本身仍然存在。

我在教程或其他任何地方都没有发现任何关于这个问题的提及。我是第一个每秒处理几条记录的人,还是我错过了其他东西?

提前谢谢了!

0 投票
1 回答
1218 浏览

sitecore - Sitecore 使用代理和任务

在 sitecore 中,我们有代理和任务的可能性。但是什么时候用哪个还不是很清楚。我的情况:我想在每晚的指定时间运行一个(可能需要半小时)进口商。导入器会将数据从外部源导入到 sitecore。哪个更好:代理还是任务?

0 投票
1 回答
343 浏览

solr - Solr Cluster + DataImportHandler:我可以自动生成 id 吗?

我正在使用 Solr 4.3。我创建了 4 个分片。我配置了 UniqueKey 自动生成的字段,如下所述:

http://wiki.apache.org/solr/UniqueKey

如果我使用实际的更新处理程序插入文档(即,如果我使用一些 JSON 数据对 /update 进行 HTTP POST,则为每个文档自动生成唯一键),它工作正常。

但是,如果我使用 DataImportHandler 从数据库中提取一些文档,它们不会添加到索引中,而是会在 Solr 日志中看到一条警告,指出“缺少强制性 id 字段”。

我知道 DataImportHandler 不会通过 UpdateHandler 添加文档,但我希望这个功能也适用于 DIH ......

所以我的问题是:有人知道在使用 DataImportHandler 插入文档时如何使 Solr 4.3 集群的 id 自动生成工作吗?

0 投票
3 回答
6946 浏览

mongodb - 在 MongoDb 中导入 CSV 文件(包含一些非 UTF8 字符)

如何将包含一些非 UTF8 字符的 CSV 文件导入 MongoDB?我尝试了推荐的导入代码。

错误信息

我会手动删除那些无效字符,但数据的大小相当大。

尝试谷歌没有成功。

PS:mongo -v = 2.4.6

谢谢。

编辑: 顺便说一句,我在Win7上

0 投票
0 回答
51 浏览

concatenation - Splus:excel数据转换成c()形式,一组拼接数据

我是 Splus 的新手。我有 excel 数据(1 列,100 多行)。有人可以解释如何最好地将这个excel列数据导入/转换为Splus,形成c(),一组连接数据,例如c(12321、23243、34343等)提前谢谢你!

0 投票
1 回答
32590 浏览

sql - 将 VARCHAR 转换为 SMALLDATETIME 作为 UPDATE 语句的一部分

我正在对 CSV 文件执行批量数据导入。在 CSV 文件中,我的“日期”列包含格式为“YYYYDDMMHHMM”的日期(例如 200603010929)。

就目前而言,如果我在创建表时选择“smalldatetime”,则数据导入将失败并出现以下错误:

第 2 行第 2 列(日期)的批量加载数据转换错误(指定代码页的类型不匹配或无效字符)。

据我了解,要使其起作用,日期必须是某种格式才能起作用。

因此,我的一个想法是将日期值导入到 VARCHAR 类型的字段中,然后在导入完成后,我想对每一行执行 UPDATE 以将日期转换为 smalldatetime。这会延长导入过程,但我认为它比尝试对 CSV 数据(这是一个巨大的数据集)进行查找和替换要容易得多,也快得多。

所以,我的问题是:1)这可能吗?2)我如何实现它?

这是我到目前为止所拥有的:

这失败了,因为文本的格式不正确。是否可以在 CONVERT 函数中指定字符串的格式,还是有其他方法?

我感谢所有评论。谢谢。

0 投票
1 回答
2019 浏览

sapb1 - 将 MSSQL 表导入 SAP B1 的自动化方式?

我正在使用 SQL Server 2008 和 SAP Business One 9.0。我有十个已导入 SAP SQL Server 数据库的 sql server 表,我想将它们作为 UDT、UDO 和业务对象添加到 SAP Business One 客户端。

我知道我可以在 SAP 业务一客户端中执行此操作,使用工具 -> 自定义工具菜单选项,但这将非常耗时,因为我必须通过创建用户定义表、用户定义字段等提供的接口等。

有谁知道实现我想做的任何其他方式?我希望有一些 SAP 工具可以将 SQL Server 表导入为 UDT 等。

0 投票
2 回答
28057 浏览

php - 如何在 Magento 中为所有欧盟国家(2013 年)创建有效税率

如何在 Magento 中为所有欧盟国家(2013 年)创建有效税率?


Wie erstelle ich einen gültigen Steuersätze für alle Länder der EU (2013) 在 Magento?