6

问题!

我有一个小 python 脚本,它通过一个网页(http-crawling)。此网页托管在 Intranet 内,并使用 NTLM 身份验证来收集对其的访问权限。

因此,我发现这个任务(检索 http-content)很容易使用 python 进行编程,而不是尝试将整个 python 脚本重写为 C#,然后通过 SSIS 上的“脚本任务”使用它来完成任务。

暗示!

我仔细查看了 SSIS 工具,发现有一个名为“执行进程任务”的控制流,它可以让您执行 Win32 可执行文件。

但问题在于如何调用我的 python 脚本,因为它不是可执行的,需要由 python 解释器解释(如果你会原谅重复的话)。因此,我可以轻松地构建一个简单的“.bat”文件,该文件同时调用 python 脚本和解释器。然后通过 SSIS“执行进程任务”执行该文件。

问题!

还有其他方法可以实现吗?(整洁的方式)

编辑#1

用法

从脚本中检索到的信息将把该信息从数据库存储到一个表中,以便从另一个 SSIS 进程通过数据库表访问该信息。

我正在从不同的来源(平面文件、数据库表、http 请求……)检索信息,以便将该信息归档到可以发布在 Web 服务中然后从 Excel 项目中访问的数据库中。

提前致谢!

4

3 回答 3

4

在 SSIS 范围内使用 IronPython 的最简单的机制(至少在我的大脑中)是调用外部进程并转储到文件,然后将其用作数据流的源。

也就是说,我能够从 C# 托管 IronPython 应用程序并使用返回的数据来填充输出缓冲区并与管道中的数据进行交互。我只有一台机器可以执行此操作,所以我列出了我记得做的所有事情,直到包裹变绿为止。

先决条件

这篇文章让我了解了如何完成这项工作。在 C# 4.0 程序中托管 IronPython 我强烈建议您创建一个 C#/VB.NET 控制台应用程序并首先让您的 IronPython 集成在那里工作,因为 SSIS 将为所有内容添加一个额外的层。

可能有能力在 C# 中托管旧版本的 IronPython,而不需要 4.0 框架,但这远远超出了我的能力范围。我可以说的是,要使用 4.0 框架,您正在查看 SQL Server 2012。2008 包可以针对 3.5 框架(默认为 2.0)。

全局程序集缓存,简称 GAC。它是 Windows 中可以存放已签名程序集的特殊位置。SSIS 可能能够使用 GAC 中没有的程序集,但我没有运气这样做。这个案子也不例外。我的控制台应用程序运行良好,但是当我将该代码复制到 SSIS 时,它会Could not load file or assembly 'Microsoft.Scripting...出现错误消息。幸运的是,IronPython-2.7.2.1(可能还有以前的版本)是强签名的 dll。这意味着您可以而且必须将它们添加到 GAC 中。

在您的 Visual Studio 目录中,查找 Visual Studio 命令提示符 (2010)。假设您的 IronPython 安装文件夹是C:\tmp\IronPython-2.7.2.1\IronPython-2.7.2.1您将键入cd C:\tmp\IronPython-2.7.2.1\IronPython-2.7.2.1然后我注册了以下 3 个程序集

C:\tmp\IronPython-2.7.2.1\IronPython-2.7.2.1>gacutil -if Microsoft.Dynamic.dll
Microsoft (R) .NET Global Assembly Cache Utility.  Version 4.0.30319.1
Copyright (c) Microsoft Corporation.  All rights reserved.

Assembly successfully added to the cache

C:\tmp\IronPython-2.7.2.1\IronPython-2.7.2.1>gacutil -if IronPython.dll
Microsoft (R) .NET Global Assembly Cache Utility.  Version 4.0.30319.1
Copyright (c) Microsoft Corporation.  All rights reserved.

Assembly successfully added to the cache

C:\tmp\IronPython-2.7.2.1\IronPython-2.7.2.1>gacutil -if Microsoft.Scripting.dll
Microsoft (R) .NET Global Assembly Cache Utility.  Version 4.0.30319.1
Copyright (c) Microsoft Corporation.  All rights reserved.

Assembly successfully added to the cache

我的 SSIS 项目,我已将 Run64bitRuntime 设置为 False,但在重新测试时,没关系。默认为 True ,这似乎工作正常。

Python 脚本 - 我没有足够的背景来使 C# 和 .NET DLR 语言之间的集成更加优雅。提供一个字符串或包含我想要执行的脚本的东西会很好,也许这就是脚本块的内容,但我没有时间调查。因此,此解决方案需要一个脚本文件位于磁盘的某个位置。我在使用托管脚本进行导入时遇到了麻烦(没有名为 X 异常的模块)。毫无疑问,类路径和所有需要提供给主机以使其正常工作的东西都有一些魔力。顺便说一句,这可能是一个不同的 SO 问题。

设置

我有一个文件位于 C:\ssisdata\simplePy.py

# could not get a simple import to work from hosted
# works fine from "not hosted"
#import os

def GetIPData():
    #os.listdir(r'C:\\')
    return range(0,100)

将脚本任务添加到数据流后,我将其配置为在输出缓冲区(wstr 1000)上有一个列。然后我用它作为我的源代码。

using System;
using System.Collections.Generic;
using System.Data;
using Microsoft.SqlServer.Dts.Pipeline.Wrapper;
using Microsoft.SqlServer.Dts.Runtime.Wrapper;
using IronPython.Hosting;
using Microsoft.Scripting.Hosting;

/// <summary>
/// Attempt to use IP script as a source
/// http://blogs.msdn.com/b/charlie/archive/2009/10/25/hosting-ironpython-in-a-c-4-0-program.aspx
/// </summary>
[Microsoft.SqlServer.Dts.Pipeline.SSISScriptComponentEntryPointAttribute]
public class ScriptMain : UserComponent
{

    /// <summary>
    /// Create data rows and fill those buckets
    /// </summary>
    public override void CreateNewOutputRows()
    {
        foreach (var item in this.GetData())
        {
            Output0Buffer.AddRow();
            Output0Buffer.Content = item;
        }

    }

    /// <summary>
    /// I've written plenty of code, but I'm quite certain this is some of the ugliest.
    /// There certainly must be more graceful means of 
    /// * feeding your source code to the ironpython run-time than a file
    /// * processing the output of the code the method call
    /// * sucking less at life
    /// </summary>
    /// <returns>A list of strings</returns>
    public List<string> GetData()
    {
        List<string> output = null;
        var ipy = Python.CreateRuntime();
        dynamic test = ipy.UseFile(@"C:\ssisdata\simplePy.py");
        output = new List<string>();
        var pythonData = test.GetIPData();
        foreach (var item in pythonData)
        {
            output.Add(item.ToString());
        }

        return output;
    }
}

快速拍摄我的参考资料

参考

点击运行按钮,大获成功

数据流

于 2012-04-27T18:51:40.340 回答
2

你想多整洁?我认为你的选择很好,你不会找到任何更简单的方法来解决你的问题。你有一个文件列表并且需要执行它们,就是这样。

我能想到的一件事是将所有文件路径添加到 sql 表并使用 xp_cmdshell 执行它们

您需要在 sql 实例上启用它(我假设您有一个,因为您正在考虑使用 SSIS)

EXEC sp_configure 'show advanced options', 1
GO
reconfigure
go

EXEC sp_configure 'xp_cmdshell', 1
GO

reconfigure
go

比您可以在表上循环并为每一行执行:

exec master.dbo.xp_cmdshell 'your_script'
于 2012-04-27T15:18:18.627 回答
2

简单的解决方案怎么样(没有.bat):

在“执行流程任务”的编辑器中,将Exectutable设置为 Python INTERPRETER

C:\...\Python34\python.exe

for Arguments首先设置脚本路径,然后是脚本的任何参数

H:\...\test\helloworld.py -a 1 -b 2

不要忘记您的工作目录

H:\...\test
于 2015-03-06T10:23:55.840 回答