sql-server - 如何使用 sqlcmd 从 SQL Server 将数据导出为 CSV 格式？

Question

我可以很容易地将数据转储到文本文件中，例如：

sqlcmd -S myServer -d myDB -E -Q "select col1, col2, col3 from SomeTable" 
     -o "MyData.txt"

但是，我查看了帮助文件，SQLCMD但没有看到专门针对 CSV 的选项。

有没有办法将表中的数据转储到 CSV 文本文件中SQLCMD？

score 154 · Accepted Answer

你可以运行这样的东西：

sqlcmd -S MyServer -d myDB -E -Q "select col1, col2, col3 from SomeTable" 
       -o "MyData.csv" -h-1 -s"," -w 700

-h-1从结果中删除列名标题
-s","将列分隔符设置为 ,
-w 700将行宽设置为 700 个字符（这需要与最长行一样宽，否则它将换行到下一行）

score 94 · Accepted Answer

使用 PowerShell，您可以通过管道 Invoke-Sqlcmd 到 Export-Csv 巧妙地解决问题。

#Requires -Module SqlServer
Invoke-Sqlcmd -Query "SELECT * FROM DimDate;" `
              -Database AdventureWorksDW2012 `
              -Server localhost |
Export-Csv -NoTypeInformation `
           -Path "DimDate.csv" `
           -Encoding UTF8

SQL Server 2016 包含SqlServer模块，该模块包含Invoke-Sqlcmdcmdlet，即使您只安装 SSMS 2016，您也将拥有该模块。在此之前，SQL Server 2012 包含旧的SQLPS模块，该模块会将当前目录更改为SQLSERVER:\模块安装时的目录。首次使用（以及其他错误）因此，您需要将#Requires上面的行更改为：

Push-Location $PWD
Import-Module -Name SQLPS
# dummy query to catch initial surprise directory change
Invoke-Sqlcmd -Query "SELECT 1" `
              -Database  AdventureWorksDW2012 `
              -Server localhost |Out-Null
Pop-Location
# actual Invoke-Sqlcmd |Export-Csv pipeline

要修改 SQL Server 2008 和 2008 R2 的示例，请#Requires完全删除该行并使用sqlps.exe 实用程序而不是标准 PowerShell 主机。

Invoke-Sqlcmd是 sqlcmd.exe 的 PowerShell 等效项。它输出System.Data.DataRow对象而不是文本。

该-Query参数的作用类似于-Qsqlcmd.exe 的参数。向它传递一个描述您要导出的数据的 SQL 查询。

该-Database参数的作用类似于-dsqlcmd.exe 的参数。将包含要导出的数据的数据库的名称传递给它。

该-Server参数的作用类似于-Ssqlcmd.exe 的参数。将包含要导出的数据的服务器的名称传递给它。

Export-CSV是将通用对象序列化为 CSV 的 PowerShell cmdlet。它随 PowerShell 一起提供。

该-NoTypeInformation参数抑制不属于 CSV 格式的额外输出。默认情况下，cmdlet 会写入带有类型信息的标头。当您稍后使用反序列化对象时，它可以让您知道对象的类型Import-Csv，但它会混淆需要标准 CSV 的工具。

该-Path参数的作用类似于-osqlcmd.exe 的参数。如果您无法使用旧的SQLPS模块，则此值的完整路径是最安全的。

该-Encoding参数的作用类似于 sqlcmd.exe 的-for-u参数。默认情况下，Export-Csv 仅输出 ASCII 字符并用问号替换所有其他字符。改用 UTF8 来保留所有字符并与大多数其他工具保持兼容。

与 sqlcmd.exe 或 bcp.exe 相比，此解决方案的主要优点是您不必破解命令即可输出有效的 CSV。Export-Csv cmdlet 为您处理这一切。

主要缺点是Invoke-Sqlcmd在沿管道传递之前读取整个结果集。确保您有足够的内存用于要导出的整个结果集。

对于数十亿行，它可能无法顺利运行。如果这是一个问题，您可以尝试其他工具，或者推出您自己的Invoke-Sqlcmd使用 System.Data.SqlClient.SqlDataReader类的高效版本。

score 76 · Accepted Answer

sqlcmd -S myServer -d myDB -E -o "MyData.txt" ^
    -Q "select bar from foo" ^
    -W -w 999 -s","

最后一行包含特定于 CSV 的选项。

-W 从每个单独的字段中删除尾随空格
-s"," 将列分隔符设置为逗号 (,)
-w 999 将行宽设置为 999 个字符

scottm 的答案与我使用的非常接近，但我发现这-W是一个非常好的补充：当我在其他地方使用 CSV 时，我不需要修剪空格。

另请参阅MSDN sqlcmd 参考。它使/?选项的输出相形见绌。

score 63 · Accepted Answer

这不是bcp为了吗？

bcp "select col1, col2, col3 from database.schema.SomeTable" queryout  "c:\MyData.txt"  -c -t"," -r"\n" -S ServerName -T

从命令行运行它以检查语法。

bcp /?

例如：

usage: bcp {dbtable | query} {in | out | queryout | format} datafile
  [-m maxerrors]            [-f formatfile]          [-e errfile]
  [-F firstrow]             [-L lastrow]             [-b batchsize]
  [-n native type]          [-c character type]      [-w wide character type]
  [-N keep non-text native] [-V file format version] [-q quoted identifier]
  [-C code page specifier]  [-t field terminator]    [-r row terminator]
  [-i inputfile]            [-o outfile]             [-a packetsize]
  [-S server name]          [-U username]            [-P password]
  [-T trusted connection]   [-v version]             [-R regional enable]
  [-k keep null values]     [-E keep identity values]
  [-h "load hints"]         [-x generate xml format file]
  [-d database name]

请注意，bcp不能输出列标题。

请参阅：bcp 实用程序文档页面。

上一页的示例：

bcp.exe MyTable out "D:\data.csv" -T -c -C 65001 -t , ...

score 12 · Accepted Answer

任何想要这样做但也有列标题的人的注释，这是我使用批处理文件的解决方案：

sqlcmd -S servername -U username -P password -d database -Q "set nocount on; set ansi_warnings off; sql query here;" -o output.tmp -s "," -W
type output.tmp | findstr /V \-\,\- > output.csv
del output.tmp

这会将初始结果（包括标题和数据之间的 ----,---- 分隔符）输出到一个临时文件中，然后通过 findstr 将其过滤掉来删除该行。请注意，它并不完美，因为它会过滤掉-,-——如果输出中只有一列，它就不起作用，它还会过滤掉包含该字符串的合法行。

score 1 · Accepted Answer

BCP 的替代选项：

exec master..xp_cmdshell 'BCP "sp_who" QUERYOUT C:\av\sp_who.txt -S MC0XENTC -T -c '

score 1 · Accepted Answer

这个答案建立在@iain-elder 的解决方案之上，除了大型数据库案例（如他的解决方案中所指出的那样）外，该解决方案运行良好。整个表需要适合您系统的内存，对我来说这不是一个选择。我怀疑最好的解决方案是使用System.Data.SqlClient.SqlDataReader和自定义 CSV 序列化程序（参见此处的示例）或其他具有 MS SQL 驱动程序和 CSV 序列化的语言。本着可能正在寻找无依赖解决方案的原始问题的精神，下面的 PowerShell 代码对我有用。它非常缓慢且效率低下，尤其是在实例化 $data 数组并以附加模式为每个 $chunk_size 行调用 Export-Csv 时。

$chunk_size = 10000
$command = New-Object System.Data.SqlClient.SqlCommand
$command.CommandText = "SELECT * FROM <TABLENAME>"
$command.Connection = $connection
$connection.open()
$reader = $command.ExecuteReader()

$read = $TRUE
while($read){
    $counter=0
    $DataTable = New-Object System.Data.DataTable
    $first=$TRUE;
    try {
        while($read = $reader.Read()){

            $count = $reader.FieldCount
            if ($first){
                for($i=0; $i -lt $count; $i++){
                    $col = New-Object System.Data.DataColumn $reader.GetName($i)
                    $DataTable.Columns.Add($col)
                }
                $first=$FALSE;
            }

            # Better way to do this?
            $data=@()
            $emptyObj = New-Object System.Object
            for($i=1; $i -le $count; $i++){
                $data +=  $emptyObj
            }

            $reader.GetValues($data) | out-null
            $DataRow = $DataTable.NewRow()
            $DataRow.ItemArray = $data
            $DataTable.Rows.Add($DataRow)
            $counter += 1
            if ($counter -eq $chunk_size){
                break
            }
        }
        $DataTable | Export-Csv "output.csv" -NoTypeInformation -Append
    }catch{
        $ErrorMessage = $_.Exception.Message
        Write-Output $ErrorMessage
        $read=$FALSE
        $connection.Close()
        exit
    }
}
$connection.close()

score 1 · Accepted Answer

通常sqlcmd附带bcp实用程序（作为的一部分mssql-tools），默认情况下会导出为 CSV。

用法：

bcp {dbtable | query} {in | out | queryout | format} datafile

例如：

bcp.exe MyTable out data.csv

要将所有表转储到相应的 CSV 文件中，请使用Bash脚本：

#!/usr/bin/env bash
# Script to dump all tables from SQL Server into CSV files via bcp.
# @file: bcp-dump.sh
server="sql.example.com" # Change this.
user="USER" # Change this.
pass="PASS" # Change this.
dbname="DBNAME" # Change this.
creds="-S '$server' -U '$user' -P '$pass' -d '$dbname'"
sqlcmd $creds -Q 'SELECT * FROM sysobjects sobjects' > objects.lst
sqlcmd $creds -Q 'SELECT * FROM information_schema.routines' > routines.lst
sqlcmd $creds -Q 'sp_tables' | tail -n +3 | head -n -2 > sp_tables.lst
sqlcmd $creds -Q 'SELECT name FROM sysobjects sobjects WHERE xtype = "U"' | tail -n +3 | head -n -2 > tables.lst

for table in $(<tables.lst); do
  sqlcmd $creds -Q "exec sp_columns $table" > $table.desc && \
  bcp $table out $table.csv -S $server -U $user -P $pass -d $dbname -c
done

score 0 · Accepted Answer

上面的答案几乎为我解决了它，但它没有正确创建解析的 CSV。

这是我的版本：

sqlcmd -S myurl.com -d MyAzureDB -E -s, -W -i mytsql.sql | findstr /V /C:"-" /B > parsed_correctly.csv

有人说sqlcmd支持某些 PowerShell 替代方案已过时，是忘记了这sqlcmd不仅适用于 Windows。我在 Linux 上（而在 Windows 上我还是避免使用 PS）。

说了这么多，我确实发现bcp更容易了。

score 0 · Accepted Answer

由于以下两个原因，您应该在 CMD 中运行我的解决方案：

查询中可能有双引号

有时需要登录用户名和密码才能查询远程 SQL Server 实例

sqlcmd -U [your_User]  -P[your_password] -S [your_remote_Server] -d [your_databasename]  -i "query.txt" -o "output.csv" -s"," -w 700

score 0 · Accepted Answer

尝试使用 python 包sqlcmd-csv将逗号分隔的输出后处理为有效的 csv。

https://github.com/shadiakiki1986/sqlcmd-csv

sqlcmd ... -s, ...
pip install git+https://github.com/shadiakiki1986/sqlcmd-csv.git
sqlcmd_csv out.txt out.csv

score -1 · Accepted Answer

你可以用一种骇人听闻的方式来做到这一点。小心使用sqlcmd黑客。如果数据有双引号或逗号，你会遇到麻烦。

您可以使用一个简单的脚本来正确执行此操作：

'''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''
' Data Exporter                                                 '
'                                                               '
' Description: Allows the output of data to CSV file from a SQL '
'       statement to either Oracle, SQL Server, or MySQL        '
' Author: C. Peter Chen, http://dev-notes.com                   '
' Version Tracker:                                              '
'       1.0   20080414 Original version                         '
'   1.1   20080807 Added email functionality                '
'''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''
option explicit
dim dbType, dbHost, dbName, dbUser, dbPass, outputFile, email, subj, body, smtp, smtpPort, sqlstr

'''''''''''''''''
' Configuration '
'''''''''''''''''
dbType = "oracle"                 ' Valid values: "oracle", "sqlserver", "mysql"
dbHost = "dbhost"                 ' Hostname of the database server
dbName = "dbname"                 ' Name of the database/SID
dbUser = "username"               ' Name of the user
dbPass = "password"               ' Password of the above-named user
outputFile = "c:\output.csv"      ' Path and file name of the output CSV file
email = "email@me.here"           ' Enter email here should you wish to email the CSV file (as attachment); if no email, leave it as empty string ""
  subj = "Email Subject"          ' The subject of your email; required only if you send the CSV over email
  body = "Put a message here!"    ' The body of your email; required only if you send the CSV over email
  smtp = "mail.server.com"        ' Name of your SMTP server; required only if you send the CSV over email
  smtpPort = 25                   ' SMTP port used by your server, usually 25; required only if you send the CSV over email
sqlStr = "select user from dual"  ' SQL statement you wish to execute
'''''''''''''''''''''
' End Configuration '
'''''''''''''''''''''



dim fso, conn

'Create filesystem object 
set fso = CreateObject("Scripting.FileSystemObject")

'Database connection info
set Conn = CreateObject("ADODB.connection")
Conn.ConnectionTimeout = 30
Conn.CommandTimeout = 30
if dbType = "oracle" then
    conn.open("Provider=MSDAORA.1;User ID=" & dbUser & ";Password=" & dbPass & ";Data Source=" & dbName & ";Persist Security Info=False")
elseif dbType = "sqlserver" then
    conn.open("Driver={SQL Server};Server=" & dbHost & ";Database=" & dbName & ";Uid=" & dbUser & ";Pwd=" & dbPass & ";")
elseif dbType = "mysql" then
    conn.open("DRIVER={MySQL ODBC 3.51 Driver}; SERVER=" & dbHost & ";PORT=3306;DATABASE=" & dbName & "; UID=" & dbUser & "; PASSWORD=" & dbPass & "; OPTION=3")
end if

' Subprocedure to generate data.  Two parameters:
'   1. fPath=where to create the file
'   2. sqlstr=the database query
sub MakeDataFile(fPath, sqlstr)
    dim a, showList, intcount
    set a = fso.createtextfile(fPath)

    set showList = conn.execute(sqlstr)
    for intcount = 0 to showList.fields.count -1
        if intcount <> showList.fields.count-1 then
            a.write """" & showList.fields(intcount).name & ""","
        else
            a.write """" & showList.fields(intcount).name & """"
        end if
    next
    a.writeline ""

    do while not showList.eof
        for intcount = 0 to showList.fields.count - 1
            if intcount <> showList.fields.count - 1 then
                a.write """" & showList.fields(intcount).value & ""","
            else
                a.write """" & showList.fields(intcount).value & """"
            end if
        next
        a.writeline ""
        showList.movenext
    loop
    showList.close
    set showList = nothing

    set a = nothing
end sub

' Call the subprocedure
call MakeDataFile(outputFile,sqlstr)

' Close
set fso = nothing
conn.close
set conn = nothing

if email <> "" then
    dim objMessage
    Set objMessage = CreateObject("CDO.Message")
    objMessage.Subject = "Test Email from vbs"
    objMessage.From = email
    objMessage.To = email
    objMessage.TextBody = "Please see attached file."
    objMessage.AddAttachment outputFile

    objMessage.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/sendusing") = 2
    objMessage.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/smtpserver") = smtp
    objMessage.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/smtpserverport") = smtpPort

objMessage.Configuration.Fields.Update

    objMessage.Send
end if

'You're all done!!  Enjoy the file created.
msgbox("Data Writer Done!")

^{资料来源：使用 VBScript 将 SQL 输出写入 CSV。}

sql-server - 如何使用 sqlcmd 从 SQL Server 将数据导出为 CSV 格式？

12 回答 12

Related

Reference