问题标签 [apache-camel-aws]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
692 浏览

apache-camel - Using Apache Camel AWS-KINESIS endpoint, how do I checkpoint the message in the Kinesis stream?

I use AWS-KINESIS endpoint in Camel to read from a AWS Kinesis contentstream. I can read messages just fine, but how do I checkpoint the message on the stream? In the standard AWS Kinesis Java client library you have the concept of Workers and Processors, but this is bypassed entirely in Camel it seems.

My route:

In the recordhandler I would like to checkpoint the records when the record is processed correctly.

The RecordHandler's @Handler

Any pointers?

0 投票
1 回答
823 浏览

apache-camel - Apache Camel:如何从 AWS 流式传输大文件?

我有如下路线。它适用于小文件,但对于大文件(大约 6GB 或更多),我的程序内存不足。如何流式传输内容而不存储在内存中?

错误

0 投票
2 回答
1949 浏览

amazon-s3 - 如何在 Apache Camel 中只读取 S3 文件一次

我的 DSL 开始是这样的:

from("aws-s3://" + s3_bucket_name + "?amazonS3Client=#amazonS3Client&deleteAfterRead=false&fileName=myfile.csv")

在此之后,我将每一行转换为 JSON 文件并转储到本地目录中。

问题是它继续这样做,就像陷入无限循环一样。

知道我如何只处理一次文件然后停止吗?

0 投票
1 回答
1077 浏览

amazon-s3 - 当 multiPartUpload 为 true 时,上传失败并显示状态代码:403 SignatureDoesNotMatch

我创建了一个简单的骆驼路由来轮询本地目录中的文件并将它们上传到我大学的 Ceph (S3) 服务器。我正在使用带有camel-aws S3组件的apache camel 2.20.0,当我在uri中设置multiPartUpload = false(默认值)时,一切正常,但如果我更改为multiPartUpload = true,它会失败。

我知道我的 s3 密钥或 s3 访问密钥没有任何问题,因为当我设置 multiPartUpload=false 时,一切正常(没有需要在密钥中转义的疯狂加号 (+) 字符)。

这是堆栈跟踪:

我的 camel-context.xml 看起来像:

我尝试了很多东西,例如:

  • 将 CamelAwsS3ContentMD5 标头设置为文件的 MD5 哈希(这对多部分文件没有意义)
  • partSize 参数的各种设置
  • 从非常大到非常小的不同大小的文件
  • 设置系统参数:System.setProperty("com.amazonaws.services.s3.disablePutObjectMD5Validation", "true");

如果我为骆驼打开跟踪调试,它没有多大帮助:

我需要多部分上传工作的原因是非常大的文件,但我无法让它在任何文件大小上工作。

0 投票
0 回答
49 浏览

apache-camel - Apache Camel SWF 不会在工作流中安排第二个活动

我创建了一个基于 Spring Boot 的示例 apache camel swf 应用程序。它对第一个活动按预期工作,但即使它似乎安排了第二个活动,该活动也不会被调用。

参考示例应用程序 - https://github.com/kpkurian/camel-aws-swf-shopping-cart-wf

日志显示以下行

2018-01-18 00:23:32.705 调试 9456 --- [erMasterQueue 1] o.apache.camel.processor.SendProcessor:>>>> aws-swf://activity?activityList=&amazonSWClient=%23swfClient&domainName=name&eventName= <第二个活动名称>&version=5.0

历史显示未安排第二次活动。最后我可以看到 WorkflowExecutionCompleted 事件。

第二次活动未安排截图

0 投票
1 回答
862 浏览

amazon-s3 - 在使用 apache camel 从 aws s3 传输文件期间记录文件名

我是 Apache camel-aws 的初学者。我正在编写一个程序来使用 apache camel 将文件从一个 aws s3 存储桶传输到另一个存储桶。我现在想记录从 s3 中选取的文件/对象名称。你能帮我做同样的事情吗?下面是我的代码片段。${file:name} 适用于骆驼 FTP 组件,想了解它在 aws 中的等价物。

亲切的问候,卡希夫

0 投票
1 回答
501 浏览

amazon-s3 - Camel s3组件不使用处理器从存储桶中删除文件

尝试一个非常简单的骆驼路线:

我正在使用版本 2.20.2(截至今天最新)。该文件未从存储桶中删除。我已经做了一些研究,从外观上看,传递给 processCommit 方法的交换缺少任何标头。它正在寻找的标头是存储桶名称和密钥

我也尝试过 to("file://Users/user/out.txt") 文件也没有被删除,并且标题似乎是文件组件的标题。

编辑:

我注意到如果我删除 .processor(Empty2) 文件将从存储桶中删除。处理器不做任何工作:

那么,为什么没有它它会工作,而没有处理器却不能呢?如果无法使用处理器,我应该如何处理消息?

0 投票
1 回答
1465 浏览

apache - 如何解决 Apache Camel 中的 400 The plain HTTP request was sent to HTTPS port 问题?

如何解决 400 The plain HTTP request was sent to HTTPS port 问题?

如果我使用“https4”组件,它可以在上面的 url(empValidation) 上工作,但它不适用于下面的 url。

我认为如果我们使用默认端口它不起作用,上述情况的解决方案是什么?

0 投票
2 回答
438 浏览

amazon-web-services - Apache Camel 在 AmazonMQ 中是否可用?

免责声明:我确实在服务器故障上发布了这个,首先,回复是:

  • 我投票决定将此问题作为题外话结束,因为我们不支持 AWS。

  • 此问题似乎与帮助中心定义的范围内的服务器、网络或相关基础架构管理无关。

我认为这是一个有效的问题,甚至可以在 Stack Exchange 网络上找到第一方支持。我认为在 SO 上比在大量 AWS“文档”上更容易找到问题/限制。这就是我在 SO 上发布这个问题的原因。

问题/问题

根据我在 AWS 文档和有限的 Apache ActiveMQ 配置元素子集上找到的内容,我还没有找到如何使用应该内置到较新版本的 ActiveMQ 中的 Camel 插件。我认为这被排除在 AmazonMQ 版本之外,或者被配置限制阻止。

这是可用配置元素的列表。他们的配置文档的根元素是<broker>,看起来骆驼应该被配置为该节点的兄弟节点和传统的 ActiveMQ 配置文件。

0 投票
1 回答
1820 浏览

arrays - 用 Camel 拆分 Json 数组

我有一条骆驼路线,它采用 json 的 String 对象,调用一个 bean 来剥离一个 JSONArray 的玩家。

但是在我打电话后:

什么应该是一个 json 字符串才进入 LinkedHashMap 但我需要维护 json 格式才能将数据插入 AWS DDB。

记录以显示问题

任何帮助,将不胜感激。