问题标签 [apache-camel-aws]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

32 问题
Newest
Active
Bountied
318
Unanswered
0 投票
1 回答
92 浏览

java - 使用 Camel 在 AWS S3 上传中保留文件名和文件类型

作为 AWS 和 S3 的初学者，我试图集成以使用 apache camel将Sample.txt文件从我的本地 sftp 上传到 s3

这可行，但文件始终以名称test上传，并且类型也未显示。尝试了多种方法。任何的意见都将会有帮助。

0 投票
0 回答
99 浏览

amazon-s3 - AWS S3 消费者和 pollEnrich 的 Apache Camel 内存泄漏和开放线程问题

该应用程序从 AWS S3 读取大量不同的文件，然后将它们发送给一些收件人。

问题：

  1. 即时增加的活动线程数量（它会增长到 1030-1040 个线程，然后在该限制处停止。几乎所有线程都是 AWS S3 处于“停放”状态的线程。）
  2. 堆中“旧”空间的使用率立即增加。垃圾收集后，它几乎没有得到免费。

对于加载文件，我使用 pollEnrich 和 AWS2-S3 组件的消费者端点。

应用用途

  • 春季启动 2.4.6
  • 阿帕奇骆驼 3.10.0
  • 爪哇 11

路线

端点创建

另外，我创建了 2 个不同的线程池来检查不同的情况：

我尝试过的情况，但它们不会以任何方式影响内存使用：

  1. 没有明确指定includeBody和autocloseBody参数的端点（默认值）。
  2. 端点includeBody = true和autocloseBody = false
  3. 端点includeBody = false和autocloseBody = true
  4. 端点。添加 ScheduledExecutorService - .scheduledExecutorService(s3EndpointThreadPool)（10 个线程）
  5. PollEnrich EIP。设置线程池 PollEnrichThreadPool - .threads().executorService(pollEnrichThreadPool)(10个线程)
  6. PollEnrich EIP。为 URI 生产者/消费者禁用缓存 ( .cacheSize(-1)) pollEnrich 使用动态 URI 来加载文件。基本上所有 URI 都是唯一的，并且作为主要场景，一个文件通常只读一次。

我在这里想念什么？您对如何解决这些问题有任何想法吗？


12345678910