问题标签 [flatfilesource]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
272 浏览

ssis - ssis 保留来自源的空值将空白字符串替换为空,这会导致完整性违规

我正在使用平面文件使用 SSIS 将数据从一个数据库传输到另一个数据库。将目标数据库中的空值保持为空。我选择了 flatfilesource 的“Retain null”。但它也用空值替换了我的空白字符串。这导致 notnull 列失败。

知道如何解决这个问题吗?

0 投票
1 回答
71 浏览

sql - 在 ssis 中加载带有 csv 扩展名的文件

我必须将具有 csv 扩展名的文件从一个特定文件夹加载到 ssis 的数据库中。文件名未知,但文件夹和扩展名是固定的。

0 投票
3 回答
806 浏览

etl - Informatica 中的间接加载

informatica 中的间接加载如何在内部工作。它是整理所有数据然后处理数据还是一次处理一个文件?如果我有跨越多个文件的重复项,我的映射中的重复删除逻辑是否会删除重复项,或者我是否必须使用联合转换合并文件,然后在重复删除逻辑中处理数据?

0 投票
1 回答
983 浏览

sql-server - SSIS - 当源是平面文件时,如何使用 SQL 命令插入 OLE DB 目标?

我想知道如何使用 SQL 命令在 SSIS 中使用平面文件源在 SQL Server 数据库中插入值。我已经使用表格视图插入它,现在我必须使用 SQL 命令插入它

0 投票
1 回答
1053 浏览

sql-server - 如何将平面文件中的字符串“NULL”转换为 DATETIME 或 DATETIME2?

tl;博士:如何将平面文件中的“NULL”转换为 SSDT/SSIS 中的 NULL?

在 SSMS 中运行以下代码:

配置 SSMS 以将结果创建为带有标题的 CSV 文件:工具 --> 选项 --> 查询结果 --> SQL Server --> 结果到文本:逗号分隔下拉,选中在结果集中包含列标题。

您的输出将类似于:

在SSDT中,配置一个平面文件连接,高级“选项卡”,将列类型设置为DT_DBTIMESTAMP for DT,DT_DBTIMESTAMP2 for DT2。

(附带问题:知道为什么 SSDT 总是会出错,并将两列都设置为 DT_DATE 吗?显然这些列有时间分量。)

在平面文件源中,配置 RetainNulls = True (尽管我认为这无关紧要,因为我没有真正的空值,即不包含数据的空白列。

如何让 SSDT 在 #target 中创建与在 SSMS 中获得的结果相同的结果?IOW,我需要将文本“NULL”转换为目标中的“正确”NULL。

我的偏好:

  1. 平面文件连接和/或平面文件源中的配置技巧,
  2. 派生列(我需要推导方面的帮助),
  3. 脚本组件。
0 投票
1 回答
187 浏览

sql-server - SSIS 数据流任务列数据类型浮点数,忽略字符串值

我正在设置一个简单的数据流任务以将多个 CSV 拉入 SQL Server 数据库表。CSV 中的许多列是浮动的,但偶尔会显示“N/A*”。我想将这些列保留为浮点数,并将其中的任何字符串转换为 NULL。

通过忽略平面文件源设置中的转换失败,我可以实现这一点,但我认为忽略失败不是最佳实践。解决方案是否只是对所有这些列进行条件拆分,以说明“N/A*”何时为 NULL,否则为浮动?

0 投票
1 回答
3805 浏览

sql-server - 将多个平面文件导入多个 SQL 表

这是我的文件夹设置。

文件夹结构

这是文件设置

文件结构

这个想法是遍历文件夹并将 FileA 内容放到数据库上的 Table FileA.dbo 中(还有 FileB、FileC 等)。FileName 结构在所有文件夹中都是相同的。

我有这个 ssis 包,我在其中使用 foreachloop-> 数据流解析文件夹。

ssis1 ssis2

我已经检查了我为获取文件名而制定的算法是否有效

它解析出 .txt 扩展名。下面是我拥有的 foreach 循环的设置。 前锋

要启动整个程序包,我在文件夹中有 .txt 文件,并创建了 foreach 容器循环子文件夹。

初始点

因为,我并不是真正的 SSIS 包开发人员,所以这是我能做的最好的一些研究。我遇到的问题是,它似乎部分工作。

快照是我所拥有的场景的模型,实际上我有超过 200 个文件夹和 50 个文本文件,每个文件都指定将内容转储到相应的命名表中。

但是我在包成功执行后看到的总行数非常低并且不可能是正确的。无论如何要获得它遍历的文件夹数量的计数/列表。另外,我做错了吗?

理想情况下,我只想不必从 .txt 文件开始,而只需将整个内容转到文件夹,获取文件名(我认为我有一个工作代码)并将所有信息转储到 OLEDB目的地。

非常感谢任何帮助,资源链接。

0 投票
1 回答
245 浏览

sql - MS访问中基于复合键删除重复项

我在 MS access 2010 中导入了一个平面文件 .csv 文件。它包含以下行:

复合主键是Tsite_number + Contact_type。对于上述主键的任何重复组合,我需要删除表中的行。请让我知道是否有任何方法可以实现这一目标。

0 投票
1 回答
487 浏览

visual-studio-2015 - 在 SSIS 上解析非结构化平面文件

我在解析非结构化文本文件时遇到问题。我尝试将所有内容上传到数据类型为 DT_STR 的一列中,但由于我的文件中有特殊字符(如“=”),因此会引发错误。我尝试使用 DT_TEXT 数据类型,效果很好。但我无法对列执行任何操作。我需要删除该列中的空行,这可以通过“条件拆分”来完成。但是条件:

不起作用并引发以下错误:

标题:Microsoft Visual Studio

数据流任务 [条件拆分 [32]] 出错:数据类型“DT_TEXT”和“DT_WSTR”与二元运算符“!=”不兼容。操作数类型无法隐式转换为操作的兼容类型。要执行此操作,需要使用强制转换运算符显式强制转换一个或两个操作数。

数据流任务 [条件拆分 [32]] 出错:尝试设置二元运算“[Column 0] != “”的结果类型失败,错误代码为 0xC0047080。

数据流任务 [条件拆分 [32]] 出错:计算表达式“[Column 0]!=""”失败,错误代码为 0xC0047084。表达式可能有错误,例如除以零,在解析时无法检测到,或者可能存在内存不足错误。

数据流任务 [Conditional Split [32]] 出错:“Conditional Split.Outputs[Case 1]”上的表达式“[Column 0]!=""" 无效。

数据流任务 [Conditional Split [32]] 出错:无法在“Conditional Split.Outputs [Case 1]”上设置属性“Expression”。


附加信息:

来自 HRESULT 的异常:0xC0204006 (Microsoft.SqlServer.DTSPipelineWrap)


纽扣:

好的

我之前用 c# 脚本进行了解析。但现在我需要避免编码。任何关于如何解析这个文件的想法都值得赞赏。谢谢

0 投票
1 回答
359 浏览

informatica - 如何使用 informatica 将平面文件中的字符串加载到目标表(Teradata)中的日期中?

我正在尝试使用 informatica 将平面文件中的字符串加载到目标 teradata 表中的日期中。但是在这样做的同时,我的工作流程是成功的,但数据没有加载到表中。当我运行调试器时,数据正在通过,SQ,表达式。当我调试目标实例时,获取日期字段的“无可用数据”。

你们中的任何人都可以帮助我了解如何将平面文件中的字符串加载到 teradata 目标表中的日期中。

使用的日期格式:MM/DD/YYYY 源数据类型为字符串 (10),目标数据类型为日期,格式为 MM/DD/YYYY。

——Thnx,SP