问题标签 [data-import]

我是使用 SSIS 进行数据导入的新手——我有几个文件要导入到我的数据库模式中，但我需要每 3 个月运行一次；文件名根据季度更改，例如SKU1QTR将变为SKU2QTR.

如何使用 SSIS 处理这种情况？有没有办法指定文件名（至少有 6 个这样的文件），或者更好的是，只指定数字部分，因为文件的其余部分始终保持不变？

我想从 polarpersonaltrainer.com 导入一个 XML 文件，该文件将心率数据存储到 R data.frame 中。是否有一个包可以使导入 XML 变得容易，还是我必须编写自己的解析器？

我编写了一个脚本，将其输出保存到 CSV 文件以供以后参考，但用于导入数据的第二个脚本需要花费大量时间才能将其读回。

数据格式如下：

其中标题位于最左列，数据值占据该行的其余部分。一个主要困难是每个测试项目的数据值数组可以是不同的长度。我会将其保存为结构，但我需要能够在 MATLAB 环境之外对其进行编辑，因为有时我必须在未安装 MATLAB 的计算机上删除不良数据行。所以真的，我的问题之一是：我应该以不同的格式保存数据吗？

问题的第二部分：我已经尝试过importdata、csvread和dlmread，但我不确定哪个最好，或者是否有更好的解决方案。现在我正在使用我自己的脚本，使用循环和fgetl，这对于大文件来说非常慢。有什么建议么？

（我知道这可能是写得很糟糕的代码——我是一名工程师，而不是程序员，请不要对我大喊大叫——不过，欢迎提出任何改进建议。）

我想构建一个实用程序，可以将数据从 excel 表（列是固定的，但表可以是任意数字）导入到 oracle db。你能建议我应该如何：

1. 阅读excel表（n个数字）？（最佳方式）
2. 验证数据？
3. 批量插入数据库？

我关心的是这里的表现。每张工作表可以有 200,000 多行。

PS - 请记住我是甲骨文的新手。

我将向 Web 应用程序添加一项功能，允许用户导入数据。我不想重新发明轮子，所以我正在寻找我可以集成的任何模块来处理这个问题。

该界面应该类似于将文件导入 Excel 或 Access 的界面，加上一些通常在 ETL 软件中发现的更复杂的映射和类型转换功能。

一般流程：

1. 上传文件（CVS、Excel 等）
2. 预览文件中的数据——使用第一行作为列名，然后显示前 N 条记录，以便用户可以验证文件是否已正确解析
3. 显示映射界面以选择源列与目标的匹配方式
4. 处理导入并验证数据
5. 提供导入失败的数据报告，并可选择下载仅包含失败行的文件

无论如何将数据导入SSIS，我希望PKs是顺序指导？

到目前为止，我能想出的唯一方法是创建一个临时表，该列默认newsequentialid()将数据加载到那里，然后将其复制到正确的表中。这不是很优雅，并且不得不在我的包中添加一堆额外的层来适应它有点费时。

我必须编写一个导入实用程序，它将导入 xml 文件中保存的一些数据。我想我将创建一个简单的 DTO 对象，它是导入数据的表示，然后编写我所有的代码，以便它基于这个对象进行导入。

XML 文件将是传输格式的定义，因此我希望第 3 方将生成该格式的文件，以便能够将数据导入应用程序。该格式将来也可能会扩展，以允许导入更多类型的数据。

我想要的是让我的对象填充所有要从 XML 文件处理的导入数据的简单方法。

我在想我可以反序列化 xml 文件，但我担心在没有 DTO 对象首先序列化的情况下创建文件的第 3 方可能会出现问题。这可能是一个问题吗？还有哪些其他选择，最好不涉及手动读取 xml 文件，但显然这将是后备解决方案。

只是寻找一个可以以相当简单的方式以编程方式调用的组件来导入平面数据文件。数据通常为 100,000-500,000 行，每行包含大约 200 个文本字段，长度约为 5 到 250 个字符。数据可以是 CSV、制表符分隔等。

这有一些预算，但如果可能的话，我想保持相当便宜。

当我在我的数据库上运行 mysqldump 命令然后尝试导入它时，它会失败，因为它尝试按字母顺序创建表，即使它们可能有一个外键引用文件中稍后的表。文档中似乎没有任何内容，我发现这样的答案说要在创建文件后更新文件以包含：

是否无法自动设置这些行或以必要的顺序导出表（无需手动指定所有表名，因为这可能很乏味且容易出错）？我可以将这些行包装在脚本中，但想知道是否有一种简单的方法可以确保我可以转储文件，然后在不手动更新的情况下导入它。

我正在尝试使用 Querytables.Add 将文本文件插入到 excel 单元格中；没有错误，但工作表为空。除了使用 Value2 属性的单个单元格操作。

我已经使用宏来记录使用的对象。

你能帮我解决这个问题吗（我使用的是 vs2008、C#、excel 2003 和 2007；都显示为空单元格）。

以下是我的代码；感谢您的帮助