每天我都会收到一封来自外部第三方的电子邮件,其中附有压缩 CSV 格式的数据。
我想要做的是自动将此数据导入 SQL 服务器数据库。电子邮件不是服务器本地的,所以大概我需要解压缩并将文件保存到服务器可以看到它的文件夹中,然后简单地批量插入它?
是否可以让交换服务器自动保存和解压缩,还是我需要通过另一个应用程序来完成?我有一个每天运行的访问数据库,可以想象这样做。访问数据库也可以链接到 SQL 表并执行插入,但我不知道这样做与批量插入或基于 SQL 的替代方案的相对优点和性能?
每天我都会收到一封来自外部第三方的电子邮件,其中附有压缩 CSV 格式的数据。
我想要做的是自动将此数据导入 SQL 服务器数据库。电子邮件不是服务器本地的,所以大概我需要解压缩并将文件保存到服务器可以看到它的文件夹中,然后简单地批量插入它?
是否可以让交换服务器自动保存和解压缩,还是我需要通过另一个应用程序来完成?我有一个每天运行的访问数据库,可以想象这样做。访问数据库也可以链接到 SQL 表并执行插入,但我不知道这样做与批量插入或基于 SQL 的替代方案的相对优点和性能?
这在很大程度上取决于您的环境(您拥有哪些 SQL 权限,您拥有哪个电子邮件服务器)。所以要回答这个问题并不容易。我们所做的(通过 Powershell 脚本)如下:
1.) 我们使用一个小型的自编码应用程序,从邮件服务器下载内容。由于您没有指定您的服务器,因此可能有不同的解决方案:
2.) 导出的 SQL 文件将通过以下方式导入:
mysql -u username -p database_name < file.sql
PS 请确保您只处理您知道名称的附件,例如 SQLdumpABC.zip,而不是每个 *.zip。这是为了防止您处理发送到“解决方案”的每个恶意软件;-)
我有一些时间来解决这个问题,虽然它不是很漂亮,但我已经开始工作了。
首先,我使用从网络和此处的片段拼凑而成的 Outlook vba 将附件保存到文件夹中,然后解压缩它们
然后我在 SQL 中使用以下内容循环遍历同一文件夹并导入 csv 文件。
CREATE TABLE #ALLFILENAMES(WHICHPATH VARCHAR(255),WHICHFILE varchar(255))
--some variables
declare @filename varchar(255),
@path varchar(255),
@sql varchar(8000),
@cmd varchar(1000)
--get the list of files to process:
SET @path = Full_UNC_Path
SET @cmd = 'dir ' + @path + '*.csv /b'
print @cmd
INSERT INTO #ALLFILENAMES(WHICHFILE)
EXEC Master..xp_cmdShell @cmd
UPDATE #ALLFILENAMES SET WHICHPATH = @path where WHICHPATH is null
--cursor loop
declare c1 cursor for SELECT WHICHPATH,WHICHFILE FROM #ALLFILENAMES where WHICHFILE like '%.csv%'
open c1
fetch next from c1 into @path,@filename
While @@fetch_status <> -1
begin
--bulk insert won't take a variable name, so make a sql and execute it instead:
set @sql = 'BULK INSERT tbl_MyInbound FROM ''' + @path + @filename + ''' '
+ ' WITH (
FIELDTERMINATOR = '','',
ROWTERMINATOR = ''\n'',
FIRSTROW = 2
) '
print @sql
exec (@sql)
fetch next from c1 into @path,@filename
end
close c1
deallocate c1
--Extras
--delete from ALLFILENAMES where WHICHFILE is NULL
--select * from #ALLFILENAMES
drop table #ALLFILENAMES
if (@prevXpCmdshell = 0)
begin
exec sp_configure 'xp_cmdshell', 0
reconfigure
end
if (@prevAdvancedOptions = 0)
begin
exec sp_configure 'show advanced options', 0
reconfigure
end
但是,我也想删除该文件,在导入它以防止重新导入等之后。我尝试了以下但它没有用,输出Access is denied
set @cmd = 'del ' + @path + @filename
EXEC master..cp_cmdShell @cmd
如果我能弄清楚为什么我不能删除文件,那么我会是一个快乐的人。有任何想法吗?