9

我现在正陷入“刮擦问题”。特别是我想从网页中提取作者姓名到谷歌电子表格。实际上该功能=IMPORTXML(A2,"//span[@class='author vcard meta-item']")正在运行，但是在我提高要抓取的链接数量之后，它才开始无休止地加载。

所以我研究并发现，这个问题是由于谷歌存在限制。

有人知道超出限制或脚本，我可以“轻松复制”吗？- 我真的没有编码的预感。

4

2 回答 2

23

我创建了一个自定义导入函数，它克服了 IMPORTXML 的所有限制。我有一张在大约 800 个单元格中使用它的表格，效果很好。

它利用 Google Sheet 的自定义脚本（工具 > 脚本编辑器...）并使用正则表达式而不是 xpath 搜索内容。

function importRegex(url, regexInput) {
  var output = '';
  var fetchedUrl = UrlFetchApp.fetch(url, {muteHttpExceptions: true});
  if (fetchedUrl) {
    var html = fetchedUrl.getContentText();
    if (html.length && regexInput.length) {
      output = html.match(new RegExp(regexInput, 'i'))[1];
    }
  }
  // Grace period to not overload
  Utilities.sleep(1000);
  return output;
}

然后，您可以像使用任何功能一样使用此功能。

=importRegex("https://example.com", "<title>(.*)<\/title>")

当然，您也可以引用单元格。

=importRegex(A2, "<title>(.*)<\/title>")

如果您不想在输出中看到 HTML 实体，可以使用此功能。

var htmlEntities = {
  nbsp:  ' ',
  cent:  '¢',
  pound: '£',
  yen:   '¥',
  euro:  '€',
  copy:  '©',
  reg:   '®',
  lt:    '<',
  gt:    '>',
  mdash: '–',
  ndash: '-',
  quot:  '"',
  amp:   '&',
  apos:  '\''
};

function unescapeHTML(str) {
    return str.replace(/\&([^;]+);/g, function (entity, entityCode) {
        var match;

        if (entityCode in htmlEntities) {
            return htmlEntities[entityCode];
        } else if (match = entityCode.match(/^#x([\da-fA-F]+)$/)) {
            return String.fromCharCode(parseInt(match[1], 16));
        } else if (match = entityCode.match(/^#(\d+)$/)) {
            return String.fromCharCode(~~match[1]);
        } else {
            return entity;
        }
    });
};

一起来……</p> 

function importRegex(url, regexInput) {
  var output = '';
  var fetchedUrl = UrlFetchApp.fetch(url, {muteHttpExceptions: true});
  if (fetchedUrl) {
    var html = fetchedUrl.getContentText();
    if (html.length && regexInput.length) {
      output = html.match(new RegExp(regexInput, 'i'))[1];
    }
  }
  // Grace period to not overload
  Utilities.sleep(1000);
  return unescapeHTML(output);
}

var htmlEntities = {
  nbsp:  ' ',
  cent:  '¢',
  pound: '£',
  yen:   '¥',
  euro:  '€',
  copy:  '©',
  reg:   '®',
  lt:    '<',
  gt:    '>',
  mdash: '–',
  ndash: '-',
  quot:  '"',
  amp:   '&',
  apos:  '\''
};

function unescapeHTML(str) {
    return str.replace(/\&([^;]+);/g, function (entity, entityCode) {
        var match;

        if (entityCode in htmlEntities) {
            return htmlEntities[entityCode];
        } else if (match = entityCode.match(/^#x([\da-fA-F]+)$/)) {
            return String.fromCharCode(parseInt(match[1], 16));
        } else if (match = entityCode.match(/^#(\d+)$/)) {
            return String.fromCharCode(~~match[1]);
        } else {
            return entity;
        }
    });
};
于 2018-01-28T06:17:59.427 回答
0

没有这样的脚本可以超出限制。由于代码是在 Google 机器（服务器）上运行的，因此您不能作弊。一些限制绑定到您的电子表格，因此如果有帮助，您可以尝试使用多个电子表格。

于 2016-08-18T11:30:01.643 回答