3

我一直在分析我们的一个应用程序中的内存泄漏，在分析堆转储时，我发现 >98% 的内存被 Camels 占用SharedProducerServicePool。基本上它在它的池中保留了很多（RemoteFileProducer在这个特定的样本中大约 41k）。他们都有一个SftpEndpoint.

以下是最终通过 SFTP 上传文件的 Camel 路由：

from("activemq:queue:transform")
        .routeId("TransformJson2Avro")
        .process(new FileListCountProcessor())
    .split(body()).streaming()
        .setHeader("CURRENT_FILE", simple("${body}"))
        .log("File to process: ${header.CURRENT_FILE}; Flags: "
                + Json2AvroTransformationFlags.FILE_AVRO_BACKUP + "=${header." + Json2AvroTransformationFlags.FILE_AVRO_BACKUP + "}, "
                + Json2AvroTransformationFlags.FILE_AVRO_SFTP + "=${header." + Json2AvroTransformationFlags.FILE_AVRO_SFTP + "}, "
                + Json2AvroTransformationFlags.FILE_JSON_BACKUP + "=${header." + Json2AvroTransformationFlags.FILE_JSON_BACKUP + "}, "
                + Json2AvroTransformationFlags.FILE_JSON_DELETE + "=${header." + Json2AvroTransformationFlags.FILE_JSON_DELETE + "}, "
                + "EXPORT_METHOD=${header.EXPORT_METHOD}")
        .convertBodyTo(File.class)
        .process(new Json2AvroProcessor(filenamePattern, tempFilePath))
        .choice()
            .when(header(Json2AvroTransformationFlags.FILE_AVRO_BACKUP).isEqualTo("true"))
                .to("file:///?fileName=${header.ARCHIVE_FOLDER}/${property.FILENAME}")
                .log("Transformed file: '${property.FILENAME}' (archived to '${header.ARCHIVE_FOLDER}')")
        .end()
        .choice()
            .when(header(Json2AvroTransformationFlags.FILE_AVRO_SFTP).isEqualTo("true"))
                .log("Upload to SFTP '" + getSFTPExportStringForLogging() + "'")
                .recipientList(simple("sftp://${header.SFTP_USER}@${header.SFTP_HOST}:${header.SFTP_PORT}/${header.SFTP_DIR}?password=${header.SFTP_PASSWORD}&fileName=${property.FILENAME}&disconnect=true")).end()
        .end()
        .process(new JsonFileOperationProcessor(backupPath))
    .aggregate(constant(true), new DisabledAggregationStrategy())
        .completionSize(simple("${property.fileListCount}"))
        .log("Number of files: ${property.fileListCount}")
    .to("activemq:queue:transformCompleted")
        .id("insertIntoMessageQueue");

SFTP 连接未关闭或生产者创建但未再次停止的原因可能是什么？我在官方文档中找不到提示。

非常感谢任何帮助:)

注意：这里使用的 Caml 版本是 Camel 2.17.0

4

1 回答 1

6

在您的receipientList 中，最好将动态文件名设置为标题，例如Exchange.FILE_NAME作为键，以避免创建太多唯一端点，相反您将为相同的主机重用相同的端点。

如果您不想要任何端点池，您可以cacheSize将收件人列表上的选项配置为较低的值，或将其关闭。

于 2017-10-25T16:02:56.327 回答