24

我是 JSON 和 SQLBulkCopy 的新手。我有一个 JSON 格式的 POST 数据,我想使用 C# 在 Microsoft SQL 中批量复制/插入。

JSON 格式:

{
    "URLs": [{
        "url_name": "Google",
        "url_address": "http://www.google.com/"
    },
    {
        "url_name": "Yahoo",
        "url_address": "http://www.yahoo.com/"
    },
    {
        "url_name": "FB",
        "url_address": "http://www.fb.com/"
    },
    {
        "url_name": "MegaSearches",
        "url_address": "http://www.megasearches.com/"
    }]
}

课程:

public class UrlData
{
    public List<Url> URLs {get;set;}
}

public class Url
{
    public string url_address {get;set;}
    public string url_name {get;set;}
}

我怎样才能有效地做到这一点?

4

6 回答 6

39

TL;DR如果您的数据已经表示为DataTable,则可以使用以下命令将其插入服务器上的目标表SqlBulkCopy

string csDestination = "put here the a connection string to the database";

using (SqlConnection connection = new SqlConnection(csDestination))
using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connection))
{
    connection.Open()
    bulkCopy.DestinationTableName = "TUrls";
    bulkCopy.WriteToServer(dataTableOfUrls);
}

如果您只想加载“从 10 到 50 个 url”,则无需使用SqlBulkCopy- 它的一般目的是消除数千个单独的插入。

所以,没有 [和没有EntityFramework]的插入SqlBulkCopy可以一一完成:

string insertQuery = "insert into TUrls(address, name) values(@address, @name)";
foreach (URL url in listOfUrls)
{
    SqlCommand cmd = new SqlCommand(insertQuery);
    cmd.Parameters.AddWithValue("@name", url.url_name);
    cmd.Parameters.AddWithValue("@address", url.urld_address);

    // Remember to take care of connection! I omit this part for clarity
    cmd.ExecuteNonQuery();
}

要插入数据 SqlBulkCopy您需要将数据(例如自定义类对象列表)转换为DataTable. 以下是Marc Gravell 的回答作为此类转换的通用解决方案示例的引用:

这是使用来自 NuGet的FastMember的 2013 年更新 :

IEnumerable<SomeType> data = ...
DataTable table = new DataTable();
using(var reader = ObjectReader.Create(data)) {
    table.Load(reader);
}

是的,这与这个几乎完全相反。反射就足够了——或者如果你需要更快, HyperDescriptor在 2.0 中,或者Expression在 3.5 中。其实 HyperDescriptor应该绰绰有余。

例如:

// remove "this" if not on C# 3.0 / .NET 3.5
public static DataTable ToDataTable<T>(this IList<T> data)
{
    PropertyDescriptorCollection props =
        TypeDescriptor.GetProperties(typeof(T));
    DataTable table = new DataTable();
    for(int i = 0 ; i < props.Count ; i++)
    {
        PropertyDescriptor prop = props[i];
        table.Columns.Add(prop.Name, prop.PropertyType);
    }
    object[] values = new object[props.Count];
    foreach (T item in data)
    {
        for (int i = 0; i < values.Length; i++)
        {
            values[i] = props[i].GetValue(item);
        }
        table.Rows.Add(values);
    }
    return table;        
}

现在,将您的数据表示为DataTable,您可以将其写入服务器上的目标表:

string csDestination = "put here the a connection string to the database";

using (SqlConnection connection = new SqlConnection(csDestination))
using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connection))
{
    connection.Open()
    bulkCopy.DestinationTableName = "TUrls";
    bulkCopy.WriteToServer(dataTableOfUrls);
}

希望能帮助到你。

UPD

  1. 回答@pseudonym27 问题:“您好,我可以使用 BulkCopy 类将数据附加到 SQL 数据库中的现有表吗?”

是的,你可以 - BulkCopy 就像一个插入命令一样,它以附加数据的方式工作。
此外,考虑使用中间表以防操作出错的可能性很高(例如,插入时间长和连接问题),并且您希望尽可能少地忙/锁定目标表。当然,中间表的另一个用例是在插入之前需要进行一些数据转换。

于 2013-09-20T23:19:06.047 回答
5

使用下面的代码,您可以转换List<YourClassname>为 DataTable:-

List<YourClass> objlist = alldata;
string json = Newtonsoft.Json.JsonConvert.SerializeObject(objlist);
DataTable dt = Newtonsoft.Json.JsonConvert.DeserializeObject<DataTable>(json);
SaveDataInTables(dt, "Table_Name_Of_SQL");

在这里,我假设 alldata 包含list<YourClass>对象,你也可以做 - ,然后在方法中objlist.Add(objYourClass)传递sql_TableName和数据表。SaveDataInTables此方法会将所有数据插入SQL_Table.

public void SaveDataInTables(DataTable dataTable, string tablename)
{
   if (dataTable.Rows.Count > 0)
   {
       using (SqlConnection con = new SqlConnection("Your_ConnectionString"))
       {
           using (SqlBulkCopy sqlBulkCopy = new SqlBulkCopy(con))
           {
               sqlBulkCopy.DestinationTableName = tablename;
               con.Open();
               sqlBulkCopy.WriteToServer(dataTable);
               con.Close();
            }
        }
    }
}

希望,这些代码对你有帮助!!!

于 2019-05-31T07:37:10.257 回答
2

您应该使用表值参数。如果您使用的是 > sql server 2005。您可以在此处查看示例

于 2013-09-17T04:42:48.910 回答
2

如果它只有 10-50 个 url,并且不经常插入,则可以触发 insert 语句。简单且省事,您可以使用像 dapper 这样简单快捷的东西。

否则,如果您想要批量复制,则需要首先从 JSON 中创建并填充 ADO.NET 数据表 - 最好与目标 sql 表的架构相匹配。这是你的选择。

于 2013-09-20T21:24:51.827 回答
0
using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connection))
{
   bulkCopy.DestinationTableName = "dbo.LogData";
   try
   {
      // Write from the source to the destination.
      connection.Open();
      bulkCopy.WriteToServer(dataTable1);
      connection.Close();
   }
   catch (Exception ex)
   {
      Console.WriteLine(ex.Message);
   }
}
于 2020-03-12T14:57:45.650 回答
-1

不知道你用的是什么数据库。但我有使用 postgres 的经验,我认为这在其他关系数据库中是相似的:

在数据库中,您还可以从 csv 分隔值(例如Postgres )复制。如果您根据 expeted 输入格式格式化您的字符串,这应该是最快的方法。

于 2013-09-17T03:57:13.210 回答