3

我有一个脚本,它每天遍历一个目录中的几千个文件,并希望用每个文件的详细信息更新 SQL Server 表,因为它们是在 foreach 循环中处理的。

我已经在 foreach 循环中使用了以下内容:

Invoke-Sqlcmd -Query "INSERT INTO $dbTable (name, date, worknum, identifier) VALUES ('$name','$date','$worknum','$identifier')" 
              -ServerInstance $dbHost -Database $dbName -ErrorAction Stop

虽然这很好用,但我想知道在开始处理文件之前将这种方法更改为建立 SQL Server 连接并在脚本结束时关闭它是否有任何好处?像这样的东西。。

$SqlConnection = New-Object System.Data.SqlClient.SqlConnection
$SqlConnection.ConnectionString = "Server=$dbHost;Database=$dbName;Integrated Security=True;"

<foreach loop>

$SqlConnection.Close()

我不关心脚本运行的速度,因为它已经非常快了,只是不影响数据库性能。

4

1 回答 1

1

如评论中所述,您需要针对您的实例配置和现有工作负载进行测试,以确定解决方案是否具有高性能。

我在使用 PowerShell“应用程序”时也有类似的经历,该应用程序获取帐户标识符列表,然后将它们插入到表中以供我们进一步处理。该应用程序正在迭代每个 ID 并最初为每个 ID 执行 INSERT。这对大多数用户来说是可以的,但偶尔有人会放入 100k+ id,并且应用程序的性能非常糟糕!(但 SQL 服务器继续按预期运行)使用SqlBulkCopy速度极大地提高了客户端的处理速度,而对 SQL 服务器也没有明显的影响。(不过,只有拥有大量记录的人才能受益。不过,<100 条记录并没有真正的变化。)

Write-DataTableOut-DataTable是方便的函数,必须使这更容易。

我的感觉不碍事,最佳实践....

Eugene Philipov 有一篇很好的文章,介绍了他们对单值插入、多值插入和 BulkCopy 之间的数据加载方法性能进行的测试。他们发现您插入的列数对操作速度有很大影响。列越多,在插入中包含多个值或使用批量复制所获得的好处就越少。但是,每条记录使用单个插入总是较慢(按执行时间)。

更快的执行 == 更少的机会阻止/消耗其他工作流所需的资源。

于 2019-06-14T21:54:41.720 回答