3

在 xlsx 工作簿中，有一些单元格包含一些无界的 SUMIF 公式，如下所示：SUMIF(MySheetname!$B:$B,$E4,MySheetname!$I:$I). 使用 Apache POI 5.0.0 对一个 SUMIF 函数的评估持续 100 毫秒，对给定工作簿的评估持续几分钟。

提高执行持续时间的一种方法是将公式绑定到以下内容：SUMIF(MySheetname!$B1:$B100,$E4,MySheetname!$I1:$I100). 在我的情况下，这不是一个解决方案，因为我不是 xlsx 文件的作者，并且系统从未知的人那里获取未知的 xlsx 文件（所以我不能只告诉他们限制 SUMIF 范围）。

当前的实现org.apache.poi.ss.formula.functions.Sumif迭代给定（无界）范围内的所有单元格，因此每次评估迭代 1048576 个单元格。

这是方法实现的一部分sumMatchingCells(AreaEval, I_MatchPredicate, AreaEval)：

for (int r=0; r<height; r++) {
    for (int c=0; c<width; c++) {
        result += accumulate(aeRange, mp, aeSum, r, c);
    }
}

我想通过检查行或列是否实际存在于总和范围中来提高此方法的性能。也许是这样的（使用不存在的方法sheetContainsRowIndex）：

for (int r = 0; r < height; r++) {
    if (aeSum.sheetContainsRowIndex(aeSum.getFirstRow() + r)) {
        for (int c = 0; c < width; c++) {
            if (aeSum.sheetContainsColumnIndex(aeSum.getFirstColumn() + c)) {
               [...]

LazyAreaEval包含 aSheetRangeEvaluator并且 this 包含SheetRefEvaluators 并且这些包含 an并且EvaluationSheetthis 至少知道getLastRowNum(). 不幸的是，这个属性链是私有的。

知道如何实现这一目标吗？或任何其他想法如何提高 SUMIF 执行的性能？

4

1 回答 1

2

修补apache poi公式评估需要深入研究源代码并在评估过程中翻找。那不是我会做的。

但是一种解决方法可能是在评估之前用从第 1 行到最后一行的区域引用替换公式中的所有完整列引用。

如果您只阅读工作簿，那么这只会影响随机存取存储器而不是存储的文件。当然，如果您需要保存更改的工作簿，那么它会影响存储的文件。那么解决方法可能不可用。

当工作表中有多个具有完整列引用的公式时，这对处理持续时间有显着影响，至少使用*.xlsx( XSSF) 并且需要对每个公式进行额外的替换过程。

完整的代码示例：

import java.io.FileInputStream;

import org.apache.poi.ss.formula.*;
import org.apache.poi.ss.formula.ptg.*;
import org.apache.poi.ss.usermodel.*;
import org.apache.poi.xssf.usermodel.*;
import org.apache.poi.hssf.usermodel.*;
import org.apache.poi.ss.SpreadsheetVersion;

public class ExcelEvaluateFullColumnFormulas {

 private static String replaceFullColumnReferences(XSSFSheet sheet, String formula) {
  //System.out.println(formula);
     
  XSSFWorkbook workbook = sheet.getWorkbook();
  XSSFEvaluationWorkbook evaluationWorkbook = XSSFEvaluationWorkbook.create(workbook);
  
  Ptg[] ptgs = FormulaParser.parse(formula, (FormulaParsingWorkbook)evaluationWorkbook, 
   FormulaType.CELL, sheet.getWorkbook().getSheetIndex(sheet));
   
  for (int i = 0; i < ptgs.length; i++) {
   if (ptgs[i] instanceof AreaPtgBase) { // the operand Ptg is an area reference
    AreaPtgBase ref = (AreaPtgBase) ptgs[i];
    if (ref.getFirstRow() == 0 && ref.getLastRow() == SpreadsheetVersion.EXCEL2007.getLastRowIndex()) { // only for full column area references
     int lastRowInSheet = SpreadsheetVersion.EXCEL2007.getLastRowIndex();
     if (ref instanceof Area2DPtgBase) { // the area reference is a 2D area reference in same sheet
      lastRowInSheet = sheet.getLastRowNum(); // get last row of this sheet
     } else if (ref instanceof Area3DPxg) { // the area reference is a 3D area reference in another sheet
      Area3DPxg ref3D = (Area3DPxg)ref; 
      String sheetName = ref3D.getSheetName();
      lastRowInSheet = workbook.getSheet(sheetName).getLastRowNum(); // get last row of referenced sheet
     }      
     ref.setLastRow(lastRowInSheet);
     formula = FormulaRenderer.toFormulaString((FormulaRenderingWorkbook)evaluationWorkbook, ptgs);
    }
   }
  }
  //System.out.println(formula);
  return formula;
  
 }

 public static void main(String[] args) throws Exception {

  DataFormatter formatter = new DataFormatter();
  Workbook workbook = WorkbookFactory.create(new FileInputStream("test.xlsx"));  
  FormulaEvaluator evaluator = workbook.getCreationHelper().createFormulaEvaluator();

  Sheet sheet = workbook.getSheetAt(0);
  java.time.LocalDateTime startTime = java.time.LocalDateTime.now();
  for (Row row : sheet) {
   for (Cell cell : row) {
    ///*
    if (cell.getCellType() == CellType.FORMULA) {
     if (sheet instanceof XSSFSheet){ // do it for XSSF only, not necessary for HSSF.
      String formula = cell.getCellFormula();
      formula = replaceFullColumnReferences((XSSFSheet)sheet, formula);
      cell.setCellFormula(formula);
     }
    }
    //*/
    String value = formatter.formatCellValue(cell, evaluator);
    System.out.print(value + "\t");
   }
   System.out.println();
  }
  
 java.time.LocalDateTime endTime = java.time.LocalDateTime.now();
 java.time.Duration duration = java.time.Duration.between(startTime, endTime);
 System.out.println("process duration: " + duration);
 
 workbook.close();
 }
}

注释掉部分

...
    /*
    if (cell.getCellType() == CellType.FORMULA) {
     if (sheet instanceof XSSFSheet){ // do it for XSSF only, not necessary for HSSF.
      String formula = cell.getCellFormula();
      formula = replaceFullColumnReferences((XSSFSheet)sheet, formula);
      cell.setCellFormula(formula);
     }
    }
    */
...

看看有什么不同。

于 2021-04-30T17:06:16.400 回答