0

我想设置一个自动作业来连续将多个 txt 文件插入到一个表中。

我有多个数据记录器，它们输出多个（每分钟）.txt文件，并以它们的日期戳命名，即20130921_1755.txt( YYYYMMDD_HHMM.txt)。它们还有一个名为 DateStamp 的字段，其中包含每条记录的秒数日期值。

我知道我想要我的查询做什么......

  1. 将目录中的所有文件名插入表中ALLFILENAMES
  2. 在决赛桌中选择最大日期TBLMEASUREMENTS
  3. 将最大日期转换为文件名（2013-09-22 17:53:00 到“20130922_1753.txt”）
  4. 从表中批量插入所有文件名>最大日期ALLFILENAMES

我已经通过使用此处找到的帖子开始了该过程：将 多个 CSV 文件从文件夹导入 SQL Server

我在尝试弄清楚如何选择需要导入表的特定文件时遇到了麻烦。特别是因为这是一项持续的工作，我需要不断地查看数据库以查看哪些文件尚未导入，然后再导入它们。到目前为止，这是我的代码，可用于导入多个文件。

--some variables
declare @filename varchar(255),
        @path     varchar(255),
        @sql      varchar(8000),
        @cmd      varchar(1000)


--get the list of files to process:
SET @path = 'C:\SQL_txt\1_hr\'
SET @cmd = 'dir ' + @path + '*.txt /b'
INSERT INTO  ALLFILENAMES(WHICHFILE)
EXEC Master..xp_cmdShell @cmd
UPDATE ALLFILENAMES SET WHICHPATH = @path where WHICHPATH is null


--cursor loop
declare c1 cursor for SELECT WHICHPATH,WHICHFILE FROM ALLFILENAMES where WHICHFILE like '%.txt%'
open c1
fetch next from c1 into @path,@filename
While @@fetch_status <> -1
  begin
  --bulk insert won't take a variable name, so make a sql and execute it instead:
   set @sql = 'BULK INSERT Temp FROM ''' + @path + @filename + ''' '
       + '     WITH ( 
               FIELDTERMINATOR = ''\t'', 
               ROWTERMINATOR = ''\n''
            ) '
print @sql
exec (@sql)

  fetch next from c1 into @path,@filename
  end
close c1
deallocate c1

我一直在使用 LEFT、LEN 和 REPLACE 来尝试将最大日期戳转换为文件名，但没有运气。任何帮助或建议都会很有用。我错了吗？谢谢

4

1 回答 1

0

我会用 SSIS/数据工具来做到这一点。

从“watch”文件夹导入文件，然后将文件移动到不同的文件夹，使用：

  • ForEach 循环容器
  • 数据流任务
  • 文件系统任务
  • 派生列（可选，但推荐用于源跟踪）

您可以在派生列中使用映射的文件路径变量来指示源文件，除非存在多次将相同文件添加到监视文件夹的危险，否则几乎不需要每次运行“是否已导入”检查。

许多关于 SSIS 的教程可用，这里有两个：

于 2013-09-25T20:25:04.550 回答