sql - 如何快速将数据从 R 导出到 SQL Server

Question

sqlSave由于非最小加载，即使作为单个INSERT语句（参数） ，标准 RODBC 包的功能fast = TRUE对于大量数据也非常缓慢。我如何以最少的日志记录将数据写入我的 SQL 服务器，从而使其写入速度更快？

目前正在尝试：

toSQL = data.frame(...);
sqlSave(channel,toSQL,tablename="Table1",rownames=FALSE,colnames=FALSE,safer=FALSE,fast=TRUE);

Answer 1

通过在本地将数据写入 CSV，然后使用 a BULK INSERT（作为类似于 的预构建函数不可用sqlSave），可以非常快速地将数据写入 MS SQL Server。

toSQL = data.frame(...);
write.table(toSQL,"C:\\export\\filename.txt",quote=FALSE,sep=",",row.names=FALSE,col.names=FALSE,append=FALSE);
    sqlQuery(channel,"BULK
                INSERT Yada.dbo.yada
                FROM '\\\\<server-that-SQL-server-can-see>\\export\\filename.txt'
                WITH
                (
                FIELDTERMINATOR = ',',
                ROWTERMINATOR = '\\n'
                )");

SQL Server 必须有权访问保存 CSV 文件的网络文件夹，否则此过程将不起作用。虽然它需要一些具有各种权限的设置（网络文件夹和BULK ADMIN权限，但速度的回报是无限的更有价值）。

Answer 2

我完全同意这BULK INSERT是任何非微小数据的正确选择。但是，如果您需要添加 2-3 行例如调试消息，这BULK INSERT似乎是一种矫枉过正。

您的问题的答案将是一个DBI::dbWriteTable()函数。下面的示例（我将我的 R 代码连接到 的AWS RDS实例MS SQL Express）：

library(DBI)
library(RJDBC)
library(tidyverse)

# Specify where you driver lives
drv <- JDBC(
  "com.microsoft.sqlserver.jdbc.SQLServerDriver",
  "c:/R/SQL/sqljdbc42.jar") 

# Connect to AWS RDS instance
conn <- drv %>%
  dbConnect(
    host = "jdbc:sqlserver://xxx.ccgqenhjdi18.ap-southeast-2.rds.amazonaws.com",
    user = "xxx",
    password = "********",
    port = 1433,
    dbname= "qlik")

if(0) { # check what the conn object has access to
  queryResults <- conn %>%
    dbGetQuery("select * from information_schema.tables")
}

# Create test data
example_data <- data.frame(animal=c("dog", "cat", "sea cucumber", "sea urchin"),
                           feel=c("furry", "furry", "squishy", "spiny"),
                           weight=c(45, 8, 1.1, 0.8))
# Works in 20ms in my case
system.time(
  conn %>% dbWriteTable(
    "qlik.export.test",
    example_data
  )
)

# Let us see if we see the exported results
conn %>% dbGetQuery("select * FROM qlik.export.test")

# Let's clean the mess and force-close connection at the end of the process
conn %>% dbDisconnect()

对于传输的少量数据，它的运行速度非常快，如果您愿意，它看起来相当优雅data.frame->SQL table解决方案。

享受！