4

我想做什么？

我有一个要使用 Excel 的 Web 查询功能抓取的 URL 列表。我正在尝试完全自动化该过程，因此我正在开发一个 SSIS 包，它为每个 URL 调用一个脚本任务。脚本任务使用工作表创建一个新的 Excel 工作簿，激活工作表，添加 QueryTable 连接，刷新 QueryTable 以获取数据，使用XlWebSelectionType.xlAllTables. 然后保存工作簿并关闭工作簿和 Excel 应用程序。

我正在使用什么技术？

  • VS 2015（企业）
  • SQL 服务器 2016
  • Microsoft Excel 16.0 对象库
  • 从 Office 365 ProPlus 本地安装 Excel

有什么问题？

虽然脚本任务确实保存了网页上表格中的所有数据，但它会将它们全部放入单个工作表中，并且不保存表格名称。因此，虽然我的数据在工作表中正确分组，但我无法知道哪个“组”数据对应于哪个表。

我想怎么做？

理想情况下，我希望将每个 QueryTable 表保存到自己的 Worksheet 中，并将表名设置为 Worksheet 名称。除此之外，我需要一种方法来保存表名和相应的数据。在这种情况下，最好将其添加为 QueryTable 中的新列。

到目前为止我有什么？

这是脚本的主要部分：

Public Sub Main()
    Dim URL As String = Dts.Variables("User::URL").Value.ToString()
    Dim FileName As String = Dts.Variables("User::FileName").Value.ToString()
    Dim xlNone As XlWebFormatting = XlWebFormatting.xlWebFormattingNone
    Dim Format As XlFileFormat = XlFileFormat.xlCSVWindows
    Dim ScrapeStatus As Integer = 1

    Dim excel As New Microsoft.Office.Interop.Excel.ApplicationClass

    With excel
        .SheetsInNewWorkbook = 1
        .DisplayAlerts = False
    End With

    Dim wb As Microsoft.Office.Interop.Excel.Workbook = excel.Workbooks.Add()

    With wb
        .Activate()
        .Worksheets.Select(1)
    End With

    Try

        Dim rnStart As Range = wb.ActiveSheet.Range("A1:Z100")
        Dim qtQtrResults As QueryTable = wb.ActiveSheet.QueryTables.Add(Connection:="URL;" + URL, Destination:=rnStart)

        With qtQtrResults
            .BackgroundQuery = False
            .WebFormatting = xlNone
            .WebSelectionType = XlWebSelectionType.xlAllTables
            .Refresh()
        End With

        excel.CalculateUntilAsyncQueriesDone()
        wb.SaveAs(FileName)

        wb.Close()
        excel.Quit()
        System.Runtime.InteropServices.Marshal.ReleaseComObject(excel)
        GC.Collect()
        GC.WaitForPendingFinalizers()
        Dts.TaskResult = ScriptResults.Success

    Catch ex As Exception

        Dts.Variables("User::Error").Value = ex.Message.ToString()
        wb.Saved = True
        wb.Close()
        excel.Quit()
        System.Runtime.InteropServices.Marshal.ReleaseComObject(excel)
        GC.Collect()
        GC.WaitForPendingFinalizers()
        Dts.TaskResult = ScriptResults.Failure

    End Try

End Sub

我得到什么结果？

对于 URL http://athletics.chabotcollege.edu/information/directory/home#directory，如果我在 Excel 中使用 Web Query 功能，我会得到以下选择： 在此处输入图像描述 显示所有表名

但是，当我通过 Script Task 拉出所有表时，我最终会得到一个类似于此的工作表： 在此处输入图像描述

其他信息

我还应该注意，虽然大多数网页具有相似的结构，但并非所有网页都相同。所以我不能假设每个页面都有相同的表名，或者以相同的方式构造表。我的解决方案需要动态和灵活。

4

2 回答 2

2

通过更改.WebSelectionType = XlWebSelectionType.xlAllTables为.WebSelectionType = XlWebSelectionType.xlEntirePage我能够捕获表的“名称”。它们实际上是每个表aria-title的父<section>标记内的值。它很难看，但它确实返回了我正在寻找的字符串。

我最终将QueryTablesxlAllTables和xlEntirePageQueryTables 都保存为文本文件。然后我将xlAllTables文件拆分为每个表的单独块，然后在xlEntirePage文本文件中搜索代表表的“字符串”，并复制前一行，其中包含标题。然后我将表格文本保存为一个新文件，并以复制的标题作为文件名。它非常hacky，但它完成了我需要它做的事情。

于 2019-01-09T13:54:46.500 回答
1

我不认为您可以通过网络查询获取表名，如果您检查网页源，您会注意到这些表没有名称属性。Excel在界面中显示的名称与表格无关，它们是节的标题（即表格的父标签），因此它们不被视为表格名称。

此外，在检查QueryTable 文档后，没有选项可以检索表容器的表名或标题，因此 Excel 没有必要使用 Web 查询在界面中显示表和标题（如屏幕截图所示）

我认为有一种方法可以将数据拆分到工作表（没有表名）是：

  1. 您必须使用正则表达式从网页中检索表计数<table></table>
  2. 您必须为每个表创建一个工作表
  3. 您必须为每个表创建一个 QueryTable

  4. 在每个 QueryTable 中，您必须设置目标工作表 Range 和以下属性：

    .WebSelectionType = XlWebSelectionType.xlSpecifiedTables
.WebTables = i 'Where i is the index of Table

也许您应该使用 HTML 解析器和正则表达式来收集表元数据

于 2019-01-08T23:24:41.410 回答