5

我有一个很奇怪的情况。

我有这个非常简单的包：

在此处输入图像描述

  • 任务“获取列表”从程序集中检索数据表，其中包含一列和要运行到对象变量中的 URL 列表。
  • “foreach”循环遍历对象变量并将 URL 加载到 url 字符串变量中

  • “运行”，使用此代码调用 url（它的 2005 年，所以我坚持使用 VB）：

    Dim myURI As New Uri("http://" + Dts.Variables("URL").Value.ToString())
Dim myWebClient As New System.Net.WebClient
myWebClient.OpenReadAsync(myURI)

被调用的 URL 是内部的，只是读取参数并执行一系列需要一些时间的操作，这就是我使用“OpenReadAsync”的原因

我的问题是：如果我要运行 4 个 URL，则程序包只运行其中的 2 个。循环 lops 4 次，脚本被调用 4 次（我可以看看我是否调试它），该行myWebClient.OpenReadAsync(myURI)使用 4 个不同的值执行 4 次，但只对 URL 进行了 2 次调用。

如果我再次运行该程序包，现在会调用其他 2 个 URL，这证明该 URL 没有任何问题，并且如果我在浏览器上（例如在 4 个选项卡上）一个接一个地手动调用 4 个 URL，它们都产生了预期的结果，这证明了解析 URL 的代码没有任何问题。

所以我留下了 VB 代码，这是我第一次使用 uri 和 WebClient，所以我想知道我是否做错了什么。我还尝试在通话之间添加 5 秒的睡眠时间，但没有运气。

任何帮助，将不胜感激。谢谢

4

2 回答 2

4

所有浏览器都应将自己限制为每个主机 2 个请求，以避免主机过载。.NET 遵循此规则，并且只允许与主机建立 2 个并发连接。您可以通过修改应用程序的配置文件或通过代码来更改此限制。

您添加到脚本的延迟不起作用，因为您没有在 WebClient 实例上调用 Dispose。WebClient 类保持其连接打开，直到您将其处置以读取响应流。否则，在垃圾收集器收集客户端之前，您将无法再次连接到同一主机。

此外，OpenReadAsync 会向客户端打开流并确保它保持打开状态，除非您关闭它或它被收集。您应该使用其中一个 DownloadXXXAsync 来避免无缘无故打开流。

更好的解决方案是调用 DownloadStringAsync 并在 DownloadStringAsyncCompleted 事件中处理客户端。

更新：

ServicePointManager.DefaultConnectionLimit 存储在一个静态字段中，这意味着它的范围是整个 AppDomain。SSIS 对每个包执行使用单个 AppDomain，因此该值将影响整个包。

如果您只想使用FindServicePoint修改单个主机的连接限制，您可以为主机地址创建一个 ServicePoint 并仅为该地址设置限制：

var myTarget= ServicePointManager.FindServicePoint(new Uri("http://www.google.com"));
myTarget.ConnectionLimit = 10;
于 2012-06-05T11:36:54.823 回答
1

  1. 尝试延长每个任务和子任务的超时时间。

  2. 我没有被问到，但我会硬编码这样的任务而不是使用 SSIS。SSIS 非常适合 ETL，但仅此而已！

于 2012-06-04T20:58:50.897 回答