5

我们有一个 Coldfusion 应用程序，它正在运行一个大型查询（最多 100k 行），然后以 HTML 格式显示它。然后，用户界面提供了一个导出按钮，该按钮触发使用 cfspreadsheet 标记和电子表格函数将报告写入 .xlsx 格式的 Excel 电子表格，特别是用于构建行列值的电子表格SetCellValue、用于格式化的电子表格格式行和电子表格格式单元函数。然后使用以下命令将 ssObj 写入文件：

<cfheader name="Content-Disposition" value="attachment; filename=OES_#sel_rtype#_#Dateformat(now(),"MMM-DD-YYYY")#.xlsx">
<cfcontent type="application/vnd-ms.excel" variable="#ssObj#" reset="true">

其中 ssObj 是 SS 对象。我们看到文件大小约为 5-10 Mb。

但是...创建此报告和写入文件的内存使用量增加了大约 1GB。复杂的问题是，java GC 在导出完成后没有立即释放内存。当我们有多个用户运行并导出这种类型的报告时，内存不断攀升并达到分配的堆大小并杀死服务器的性能，从而导致服务器停机。通常需要重新启动才能将其清除。

这是正常/预期的行为还是我们应该如何处理这个问题？是否可以在导出完成后按需轻松释放此操作的内存使用量，以便运行报表的其他人轻松访问为他们的报表释放的空间？这种类型的内存使用对于 5-10Mb 文件是否常见于 cfspreadsheet 函数并写出对象？

我们已尝试暂时删除昂贵的格式化功能，但创建和写入 .xlsx 文件的内存使用量仍然很大。我们还尝试使用电子表格添加行方法和 cfspreadsheet action="write" query="queryname" 标记传入查询对象，但这也占用了大量内存。

为什么这些函数如此占用内存？在没有内存不足问题的情况下生成 Excel SS 文件的最佳方法是什么？

我应该添加服务器在 Windows 上的 Apache/Tomcat 容器中运行，我们使用的是 CF2016。

4

2 回答 2

5
  • 您为 CF 实例分配了多少内存？
  • 您正在运行多少个实例？
  • 为什么你允许任何人在 HTML 中查看 100k 记录？
  • 为什么你允许任何人即时导出这么多数据？

在我上一份工作中，我们遇到了这类问题（CF 和内存）。大文件上传消耗内存，大excel导出消耗内存，这就是会发生的。随着应用程序用户群的增长，您将遇到这些占用内存的请求会为其他用户杀死站点的地步。

从您的内存设置开始。通过将应用程序分配的内容增加一倍或三倍，您可能会得到全面提升。此外，请确保您使用的是最新版本的 CF 支持的 JDK。这也可以产生巨大的影响。

大文件上传会影响发出请求的实例的性能。这意味着同一实例上执行正常请求的其他人正在不必要地等待这些资源。我们专门使用一个实例池来处理文件上传。特定的 URL 通过负载均衡器路由到这些实例，应用程序对此更加满意。

该应用程序还处理了大量的数据，用户一直想要“全部”。我们不得不强制搜索结果和某些数据集来减少屏幕上显示的数量。DB 对这个决定非常满意。数据导出被移到队列中，因此他们可以在正常页面请求之外制作那些大型 Excel 文件。也许他们立即得到了他们的数据，也许等了一会儿才收到通知。无论哪种方式，该应用程序的整体表现都更好。

于 2018-10-04T23:09:00.353 回答
1

大概对于 OP 来说有点晚了，但自从我最终来到这里后，其他人也可能会这样做。虽然这里的其他答案+评论中有很多与内存相关的一般性声音建议，但我怀疑 OP 实际上遇到了真正的内存泄漏错误，该错误已在 CF 电子表格函数中报告，从 CF11 到 CF2018。

当生成一个电子表格对象并使用cfheader+提供它cfcontent而不将其写入磁盘时，即使使用仔细的变量范围，内存也永远不会被垃圾收集。因此，如果您的应用程序使用此方法运行足够的 Excel 导出，那么它最终会耗尽内存，然后无限期地耗尽 CPU，需要重新启动 CF。

请参阅https://tracker.adobe.com/#/view/CF-4199829 - 我不知道他是否在 SO 但归功于 Trevor Cotton 的错误报告和此解决方法：

  1. 将电子表格写入临时文件，
  2. 将电子表格从临时文件读回内存，
  3. 删除临时文件，
  4. 将电子表格从内存流式传输到用户的浏览器。

spreadsheetNew()因此，给定一个在内存中创建但从未写入磁盘的电子表格对象，这会导致内存泄漏：

<cfheader name="Content-disposition" value="attachment;filename=#arguments.fileName#" />
<cfcontent type="application/vnd.ms-excel" variable = "#SpreadsheetReadBinary(arguments.theSheet)#" />

...但这不会：

<cfset local.tempFilePath = getTempDirectory()&CreateUUID()&arguments.filename />
<cfset spreadsheetWrite(arguments.theSheet, local.tempFilePath, "", true) />
<cfset local.theSheet = spreadsheetRead(local.tempFilePath) />
<cffile action="delete" file="#local.tempFilePath#" />
<cfheader name="Content-disposition" value="attachment;filename=#arguments.fileName#" />
<cfcontent type="application/vnd.ms-excel" variable = "#SpreadsheetReadBinary(local.theSheet)#" />

这不应该是必要的，但 Adob​​e 似乎并不急于解决这个问题，而且我已经验证这在 CF2016 中对我有用。

于 2020-07-16T17:28:28.037 回答