问题标签 [data-import]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
4568 浏览

sql - SSIS 包在 BI Studio 中工作,但在 SQLServer 2008 中不工作

我有 SSIS 包,它迭代特定文件夹中的所有 excel 文件并将行导入 SQL 2008 数据库。我对文件和文件夹路径使用 4 个包范围变量。

在此处输入图像描述

如果我在 BI Studio 中运行包,我可以运行包并将所有数据导入 excel 文件中。

但是,当我移动包并在 SQL 2008 服务器中设置作业时,我无法运行包,它显示以下消息。

以用户身份执行:xxxxx Microsoft (R) SQL Server Execute Package Utility Version 10.0.4000.0 for 32-bit。开始时间:16:19:23 错误:2011-05-26 16:19:23.53 代码:0xC0202009 来源:PCounter 连接管理器“Excel 连接管理器”描述:SSIS 错误代码 DTS_E_OLEDBERROR。发生 OLE DB 错误。错误代码:0x80004005。OLE DB 记录可用。来源:“Microsoft JET 数据库引擎”Hresult:0x80004005 描述:“Microsoft Jet 数据库引擎无法打开文件''。它已被其他用户以独占方式打开,或者您需要权限才能查看其数据。”。 结束错误错误:2011-05-26 16:19:23.53 代码:0xC020801C 源:数据流任务 Excel 源1 说明:SSIS 错误代码 DTS_E_CANNOTACQUIRECONNECTIONFROMCONNECTIONMANAGER。对连接管理器“Excel 连接管理器”的 AcquireConnection 方法调用失败,错误代码为 0xC0202009。在此之前可能会发布错误消息,其中包含有关 AcquireConnection 方法调用失败原因的更多信息。结束错误错误:2011-05-26 16:19:23.53 代码:0xC0047017 源:数据流任务 SSIS.Pipeline 描述:组件“Excel 源”(1) 验证失败并返回错误代码 0xC020801C。结束错误错误:2011-05-26 16:19:23.53 代码:0xC004700C 源:数据流任务 SSIS.Pipeline 描述:一个或多个组件验证失败。结束错误错误:2011-05-26 16:19:23.53 代码:0xC0024107 来源:数据流任务描述:任务验证期间出现错误。结束错误 DTExec:包执行返回 DTSER_FAILURE (1)。开始时间:16:19:23 结束时间:16:19:23 经过时间:0.547 秒。包执行失败。步骤失败。

我确信这些文件没有被任何人打开,并且我的 SSIS 代理帐户确实有权访问该文件夹。但是我试过了,它仍然向我显示这个错误。

请给我建议。

0 投票
4 回答
5533 浏览

import - 将数据从 txt 导入 Mathematica

考虑mathematica中的以下列表:

现在,调用:

进而

你会看到最后a不等于b。我应该将此视为功能还是错误?

此外,我想导入具有以下格式的列表:{P1,P2,P3...,Pn}wherePi={v1,v2,v3,...,vm}和 each vi={x,y,z}wherex,y,z是表示顶点坐标的数字vi。这应该是一个多边形列表。

我应该如何设置我的.dat文件以便我可以使用 Mathematica 读取它,我应该如何读取它?我试图模仿Export["test.dat",a]上面的输出,但后来我发现了另一个问题。我找到了这个问题,但无法让答案对我有用......

有任何想法吗?提前致谢!

0 投票
1 回答
592 浏览

sql-server - 如何在导入/导出时保留 SQL Server 中的身份规范?

我将 SQL 数据库从一台服务器导出到另一台服务器。两者都运行 SQL Server Express。但是,我注意到某些设置没有保留。例如,尽管源服务器上的规范设置为“是”,但目标服务器上的身份规范设置为“否”。这就提出了两个问题:

  1. 是否还有其他我应该知道的尚未保留的设置?

  2. 如何在不单独分配每个设置的情况下保留这些设置?

0 投票
5 回答
7494 浏览

matlab - 在 MATLAB 中从 CSV 文件中读取文本数据

我的数据格式如下:

全年的每一天也是如此。我需要创建一个星期几的矩阵,如下所示:

0 投票
2 回答
259 浏览

c# - 导入字段中包含多个值的 CSV 文件

这是我试图从 CSV 导入的数据

*换行/回车在哪里

这是我导入它时的样子:

这是我需要它的样子:

我试过:自定义编码一个主要基于的 CSV 解析器string.Spilt(),它给了我确切的结果并且花了很长时间来处理。我已经尝试过 Sebastien Lorion CSVReader,它给了我完全相同的结果,尽管它明显更快更容易插入到我现有的代码中。我什至TextFieldParser用完全相同的结果尝试了 VB。

现在,这就是我想做的事情:

当我到达另一个方法时,以某种方式传递字段的值(我不知道如何引用它们),该方法返回一个List<string>对象,通过该对象我可以迭代并添加到 DataTable 并从那里做需要做的事情。用旧叉子取出我的脑干。在我的呼吸下喃喃自语。

这是 TextFieldParser 代码:

0 投票
1 回答
1060 浏览

sql - 帮助使用导入工具或 SSIS 将每行包含可变列的 CSV 文件导入 SQL 表

我被一个包含来自提供商的产品图像的超过 100,000 行的 CSV 文件困住了。以下是问题的详细信息,我非常感谢一些有助于解决此问题的提示。谢谢。

该文件每个产品有 1 行和以下 4 列。ID,URL,HEIGHT,WIDTH 示例:1,http://i.img.com,100,200

当产品有多个图像时,问题就开始了。该文件不是每个图像有 1 行,而是在同一行中有更多列。
示例:1,http://i.img.com,100,200,//i.img.com,20,100,//i.img.com,30,50

请注意,只有第一个图像具有“http://”,其余图像以“//”开头

不知道每个产品有多少图像,因此无法知道每行或最大列的总列数。

如何使用 SSIS 或 sql 导入向导导入它。

我也需要定期这样做。

谢谢您的帮助。

0 投票
1 回答
219 浏览

mysql - 如何减轻基于非键列的重复行插入?

我需要将数据从一个 MySQL 表导入另一个。旧表具有不同的过时结构(不是非常相关)。也就是说,我在新表中添加了一个名为“imported_id”的字段,它保存了旧表中的原始 id,以防止重复导入旧记录。

我现在的问题是,我如何真正防止重复?由于新系统与旧系统并行推出,因此很遗憾需要多次运行导入。我无法将“import_id”字段设置为 PK/UNIQUE,因为对于不是来自旧表的字段,它将具有空值,从而在添加新字段时引发错误。有没有办法对本身没有约束的任意列即时使用某种类型的 INSERT IGNORE ?

我越想这个问题,我越觉得我应该在最初的 SELECT 中处理它。但是,我会对通常处理此问题的质量机制感兴趣。

最好的。

0 投票
1 回答
1180 浏览

java - 快速简便的数据导入工具/库

我正在寻找允许快速(轻松)将数据导入现有数据库表的工具/库。例如,phpmyadmin 允许从 .csv、.xml 等文件导入数据。在 Hadoop hue 中,通过 Beesvax for Hive 我们可以从文件创建表。我正在寻找可以与 postgresql 或库一起使用的工具,这些工具可以快速轻松地完成这些事情 - 我正在寻找避免手动编码的方法,从读取文件到通过 jdbc 插入到 db。

0 投票
1 回答
383 浏览

google-app-engine - 即使在 import_transform: db.Text 之后 Google App Engine BadValueError

尝试导入 TextProperty,类似于另一个 Stack Overflow 问题 (http://stackoverflow.com/questions/3434090/app-engine-badvalueerror-on-bulk-data-upload-textproperty-being-contrued-as-s)

添加 import_transform: db.Text 后,我​​仍然收到错误消息。story_html 是一个 TextProperty()

我的 Bulkloader.yaml 文件。

我的 Models.py 文件

还有我的 loaders.py 文件

0 投票
2 回答
4003 浏览

sql-server - 使用导入/导出向导将平面文件导入 SQL Server 2005 会导致产品级错误

我正在使用 SQL Server Management Studio Enterprise 2005。

我正在尝试将带有管道分隔数据的文本文件导入到我的 SQLserver 表中。但是在导入的过程中,系统给了我这个错误日志:

操作停止...

  • 初始化数据流任务(成功)

  • 初始化连接(成功)

  • 设置 SQL 命令(成功)

  • 设置源连接(成功)

  • 设置目的地连接(成功)

  • 验证(错误)消息错误 0xc00470fe:数据流任务:组件“源 - userrolelist_TXT”(1) 的产品级别不足。(SQL Server 导入和导出向导)

错误 0xc00470fe:数据流任务:组件“数据转换 1”(95) 的产品级别不足。(SQL Server 导入和导出向导)

  • 准备执行(已停止)

  • 预执行(停止)

  • 执行(成功)

  • 复制到 [SOD].[dbo].[userrolelist](已停止)

  • 执行后(停止)

  • 清理(​​停止)

我已经读到我需要安装 SP2,因为这是一个错误。任何人都知道我该如何解决这个问题,还有其他替代方法可以用来将管道分隔的数据文件导入到我的表中吗?