csv - 自动从网站下载 csv 文件并添加到数据库

Question

我想编写一个程序，自动下载网页上的所有 csv 文件，然后将这些 csv 文件中的数据输入 SQL Server。我已经编写了宏来将数据从 csv 输入到 SQL 服务器。我只是想让你们帮助我每天自动从网站下载文件。它类似于网络抓取吗？我是网络编程新手。所以请指导我通过哪些语言来做到这一点

score 1 · Accepted Answer

使用 PowerShell 非常简单：

$web = New-Object System.Net.WebClient
$web.Downloadstring("http://<your url here>") | out-file $env:tmp\MyFile.csv

然后使用

导入-CSV

和SQLServer PowerShell 提供程序将您的数据注入 SQLServer。

score 0 · Accepted Answer

我像往常一样推荐Python。

在弄清楚如何使用它之后，以下是我将使用的模块：

score 0 · Accepted Answer

我还推荐使用 PowerShell 的方式来完成这项工作。

像@David Brabant 说的那样，通过 WebClient 从 Web 下载数据
然后使用 Import-Csv 逐行获取数据Import-Csv -Path file.csv
最后，利用脚本中的 SQL Server PowerShell 模块将数据上传到 SQL ServerInvoke-Sqlcmd -Query '<sql statements>'

3 回答 3