11

使用 T-SQL 读取文本文件的最佳方法是什么？我见过 BULK INSERT 和许多不同的功能，但没有一个是我正在寻找的。

我需要读取文本文件中的每一行，然后将其插入到一个表格中，其中包含一些其他信息，如文件名、文件位置、状态、记录日期和创建时间等。

BULK INSERT 不允许我添加额外的字段，除非我在这方面遗漏了一些东西。

任何帮助或指出正确的方向都会非常感激。

4

5 回答 5

18

您可能会批量插入临时表，然后使用要添加的数据进行另一次插入连接。这是一个例子

CREATE TABLE #TEXTFILE_1(
    FIELD1 varchar(100) ,
    FIELD2 varchar(100) ,
    FIELD3 varchar(100) ,
    FIELD4 varchar(100));

BULK INSERT #TEXTFILE_1 FROM 'C:\STUFF.TXT'
WITH (FIELDTERMINATOR =' | ',ROWTERMINATOR =' \n')

/*You now have your bulk data*/

insert into yourtable (field1, field2, field3, field4, field5, field6)
select txt.FIELD1, txt.FIELD2, txt.FIELD3, txt.FIELD4, 'something else1', 'something else2' 
from #TEXTFILE_1 txt

drop table #TEXTFILE_1

这不是你想要的吗？

于 2012-09-19T20:32:02.077 回答
5

我使用了一个非常简单的 CLR 过程，它读取整个文件并将行分隔成行——返回一个单列的值表。就像我说的，CLR 代码非常简单：

[MyFileIO.vb]

Imports System
Imports System.IO
Imports System.Data
Imports System.Data.SqlClient
Imports System.Data.SqlTypes
Imports Microsoft.SqlServer.Server
Imports System.Collections
Imports System.Runtime.InteropServices

Partial Public Class TextFiles
    <Microsoft.SqlServer.Server.SqlFunction(FillRowMethodName:="GetNextSplitString")> _
    Public Shared Function FileToTable(ByVal FileName As String) As IEnumerable

        Dim s() As String

        Using sr As New StreamReader(FileName)
            s = Split(sr.ReadToEnd, vbCrLf)
        End Using

        Return s
    End Function


    Public Shared Sub GetNextSplitString(ByVal Value As Object, <Out()> ByRef Data As SqlChars)
        Data = New SqlChars(CType(Value, String))
    End Sub
End Class

例子

select *, getdate() as [CreateDate], 1 as [AnotherColumn], 'xyz' as [ETC]
from dbo.FileToTable('c:\file.ext')

select line, left(line, 10), right(line, 10)
from dbo.FileToTable('c:\file.ext')

select ...
into [tablename]
from dbo.FileToTable('c:\file.ext')

更多细节

像这样编译 CLR DLL：

c:\windows\microsoft.net\framework\v3.5\vbc.exe /target:library MyFileIO.vb

像这样注册 CLR DLL：

create assembly MyFileIO from 'c:\MyFileIO.dll' with permission_set = unsafe
go
create function dbo.FileToTable (@FileName nvarchar(255)) returns table (line nvarchar(max)) as external name MyFileIO.TextFiles.FileToTable
go

如果出现错误，您可能需要在 db 中启用 CLR 支持：

ALTER DATABASE [dbname] SET trustworthy ON
go
sp_configure 'clr enabled', 1
GO
RECONFIGURE
GO

每当您更改 DLL 时，您必须删除过程和程序集并再次从上面运行代码以重新注册它。

于 2012-09-19T20:33:02.497 回答
2

您可以使用Integration Services（SSIS）

链接：http: //msdn.microsoft.com/en-us/library/ms141026.aspx

链接：http ://technet.microsoft.com/en-us/library/ms169917%28v=sql.105%29.aspx

于 2012-09-19T20:28:00.143 回答
1

如果在 SQL Server 中启用了 OLE 自动化（如果许多站点出于安全原因禁用它，这将是一个很大的问题），您可以FileSystemObject使用sp_OACreate和相关函数创建脚本的实例。

于 2012-09-19T20:33:03.143 回答
1

这可以使用FORMATFILE.When 使用格式文件来完成，您可以跳过列。使用格式文件还有很多优点。

下面的查询会将行批量加载到 field 中Line。

CREATE TABLE TextFile
    (
    [Line] varchar(500) ,
    [FileName] varchar(100) ,
    [RecordDate] DATETIME DEFAULT GETDATE(),
    [RecordID] INT IDENTITY(1,1) ,
    )

    BULK INSERT TextFile FROM 'C:\FILE.TXT'
    WITH (FORMATFILE = 'C:\FILEFORMAT.XML')

上述查询中使用的格式文件是：

<?xml version="1.0"?>
<BCPFORMAT xmlns="http://schemas.microsoft.com/sqlserver/2004/bulkload/format" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
 <RECORD>  
  <FIELD ID="1" xsi:type="CharTerm" TERMINATOR="\r\n" MAX_LENGTH="500" COLLATION="SQL_Latin1_General_CP1_CI_AS"/>
 </RECORD>
 <ROW>
  <COLUMN SOURCE="1" NAME="Line" xsi:type="SQLVARYCHAR"/>
 </ROW>
</BCPFORMAT>
于 2012-09-20T00:02:58.047 回答