2

我已经看过人们遇到类似问题的帖子，但找不到明确的答案。

我尝试使用以下代码行检索 264735 个插槽的二维数组：

  var optionalArguments = {majorDimension: "ROWS",
                     valueRenderOption: "FORMULA",
  };
  var sourceValuesObject = Sheets.Spreadsheets.Values.get(spreadsheetId, rangeA1Notation, optionalArguments)

但这是我得到的：

响应代码：413。消息：响应太大。

这看起来很奇怪，因为我看不到这种无处写入的限制以及如果 300000 个或更少的单元格会导致 API 错误，用户如何获取大量数据。

我尝试拆分请求并且它有效，但这使我的代码更加复杂和缓慢，而且在尝试将值更新回我的工作表范围时我得到一个空响应。

我是否指向正确的方向，这是否正常，有解决方法吗？

编辑： 这是一个示例电子表格

首先，我尝试在循环内使用拆分范围Sheets.Spreadsheets.Values.get ，for它起作用了。

做同样的事情batchGet给了我同样的错误，所以我想我在单元格内有太大的数据。

4

2 回答 2

4

这个解决方法怎么样？

实验：

此实验使用您共享的示例电子表格。

当 UrlFetchApp 直接调用 Sheets API 的端点时，如果响应大小大于 50 MB（52,428,800 Byte），则返回小于 50 MB 的响应。50 MB 的大小是由于 UrlFetchApp 的限制。另一方面，在高级谷歌服务中，它无法确认这种情况，因为超出限制时会发生错误。因此，通过使用 UrlFetchApp，可以确认您的情况出现错误的原因。所以起初，我使用以下脚本确认了这一点。

var spreadsheetId = "#####";
var range = "'Copie de Feuille 1'!A1:JE1000";
var url = "https://sheets.googleapis.com/v4/spreadsheets/" + spreadsheetId + "/values/" + range + "?majorDimension=ROWS&valueRenderOption=FORMULA";
var res = UrlFetchApp.fetch(url, {headers: {Authorization: "Bearer " + ScriptApp.getOAuthToken()}});
Logger.log(res.getContentText().length.toString())
var values = JSON.parse(res.getContentText());

当上面的脚本运行时，52428450返回。最后一行出现“未终止的字符串文字”的错误。这意味着对象不完整。从这个结果中可以发现，一次调用 values.get 并不能检索到值，范围​​为'Copie de Feuille 1'!A1:JE1000。这与I'-'I`s comment的情况相同。

在您的示例电子表格中，发现错误发生的范围边界是'Copie de Feuille 1'!A1:JE722. 当尝试从 range 中检索值时'Copie de Feuille 1'!A1:JE723，会发生错误。从中检索的值的大小'Copie de Feuille 1'!A1:JE722为 52,390,229 字节。这小于 50 MB（52,428,800 字节）。from 的大小'Copie de Feuille 1'!A1:JE723为 52,428,450 字节，与 from 的值相同'Copie de Feuille 1'!A1:JE1000。由此发现，是超出了UrlFetchApp的限制。

解决方法：

为了避免此错误并检索所有值，作为一种解决方法，我认为我想建议它拆分范围以从电子表格中检索值。但在你的问题中，你想要速度。所以我想提出以下示例脚本。

  1. 创建请求。
  2. 使用 获取创建的请求UrlFetchApp.fetchAll()。
    • 通过UrlFetchApp.fetchAll()，每个请求都可以通过异步处理来工作。
    • 在 Advanced Google Service 的 Sheets API 中，无法使用。而且，在 values.batchGet 中，因为所有检索到的值都超过了限制，所以会发生错误。
    • 这样一来，使用的处理成本UrlFetchApp.fetchAll()就比 Advanced Google Service 的 Sheets API 低。

示例脚本：

var ranges = ["'Copie de Feuille 1'!A1:JE500", "'Copie de Feuille 1'!A501:JE1000"]; // This was used from the shared spreadsheet. So please modify this for your environment.
var token = ScriptApp.getOAuthToken();
var requests = ranges.map(function(e) {
  return {
    method: "get",
    url: "https://sheets.googleapis.com/v4/spreadsheets/" + spreadsheetId + "/values/" + e + "?majorDimension=ROWS&valueRenderOption=FORMULA",
    headers: {Authorization: "Bearer " + token},
    muteHttpExceptions: true,
  }
});
var res = UrlFetchApp.fetchAll(requests);
var values = res.reduce(function(ar, e) {
  Array.prototype.push.apply(ar, JSON.parse(e.getContentText()).values);
  return ar;
}, []);
Logger.log(values.length) // 1000
Logger.log(values[0].length) // 265

笔记：

  • 如果您想使用该脚本，请确认在 API 控制台中启用了 Sheets API。
  • 数组合并时，如果出现数组限制错误，请使用每个数组，不要合并数组。
  • 使用 Advanced Google Service 的 Sheets API 时，在 的范围内也不会出现错误，而在 的范围内也会出现'Copie de Feuille 1'!A1:JE722错误'Copie de Feuille 1'!A1:JE723。该结果与 的结果相同UrlFetchApp。

参考：

于 2018-10-21T01:34:49.690 回答
1

好吧，这是我通过尝试比较不同的获取值的方法而发现的：

function compare(){
  getValuesSpreasheetApp();
  getValuesUrlFetch();
  getValues();
}
//using spreadsheetApp.getFormulas()
function getValuesSpreasheetApp(){
  var t0 = new Date().getTime();
  var ss = SpreadsheetApp.getActiveSpreadsheet();
  var dataRange = ss.getActiveSheet().getDataRange();
  var formulas = dataRange.getFormulas();
  var values = dataRange.getValues();
  var t1 = new Date().getTime();
  Logger.log("spreadsheetApp: " + (t1 -t0));
}
//using UrlFetchApp.fetchAll
function getValuesUrlFetch()
{
  var t0 = new Date().getTime();
  var ranges = ["'Copie de Feuille 1'!A1:JE500", "'Copie de Feuille 1'!A501:JE1000"];
  var token = ScriptApp.getOAuthToken();
  var spreadsheetId = SpreadsheetApp.getActiveSpreadsheet().getId();
  var requests = ranges.map(function(e) {
      return {
      method: "get",
      url: "https://sheets.googleapis.com/v4/spreadsheets/" + spreadsheetId + "/values/" + e + "?majorDimension=ROWS&valueRenderOption=FORMULA",
      headers: {Authorization: "Bearer " + token},
      muteHttpExceptions: true,
    }
  });
  var res = UrlFetchApp.fetchAll(requests);
  var values = res.reduce(function(ar, e) {
    Array.prototype.push.apply(ar, JSON.parse(e.getContentText()).values);
    return ar;
  }, []);
  var t1 = new Date().getTime();
  Logger.log("UrlFetch: " + (t1 -t0));
}
//using Sheets.Spreadsheets.Values.get()
function getValues(){
  var t0 = new Date().getTime();
  var spreadsheetId = SpreadsheetApp.getActiveSpreadsheet().getId();
  var ranges = ["'Copie de Feuille 1'!A1:JE500", "'Copie de Feuille 1'!A501:JE1000"];
  var optionalArguments = {majorDimension: "ROWS",
                 valueRenderOption: "FORMULA",
 };
  res = [];
  for(var i = 0; i < ranges.length; i++)
    res.push(Sheets.Spreadsheets.Values.get(spreadsheetId, ranges[i]));
  var values = res.reduce(function(ar, e) {
    Array.prototype.push.apply(ar, e.values);
    return ar;
  }, []);
  var t1 = new Date().getTime();
  Logger.log("values.get: " + (t1 -t0));
}

结果如下：

[18-10-23 01:35:30:034 CEST] 电子表格应用程序：13828

[18-10-23 01:35:33:614 CEST] UrlFecth: 3580

[18-10-23 01:35:38:185 CEST] values.get: 4570

感谢@Tanaike在错误发生时给了我如此精确的答案并给了我一个替代解决方案。这是基准，fetchAll是最快的解决方案。

于 2018-10-22T22:45:14.553 回答