问题标签 [sink]

我目前在 Flume 中有这个配置：

twitter 应用程序授权密钥是正确的。而且我在水槽日志文件中不断收到此错误：

这里有没有人知道为什么并可以向我解释？提前致谢。

为了查看foreach()循环中运行的函数输出的控制台消息，我遵循了这个人的建议并添加了sink()如下调用：

但是，在第 77 次迭代中，我收到错误“接收器堆栈已满”。在使用 for 循环而不是 foreach 时，关于避免此错误的问题得到了很好的回答。将原本隐藏的 foreach 输出写入文件的最佳方法是什么？

我正在尝试运行一个 for 循环，将 pdf 和文本文件都放入一个单独的文件夹中。我的代码看起来像这样。

不幸的是，循环在最后保持打开或导致接收器堆栈完全错误，我认为这是一个小问题，但我希望有人可以帮助我修复循环错误或建议一种更简单的循环和接收方法.

谢谢，汤姆

我目前正在使用sink将我的输出保存到一些文本文件：

我想在每个输出/消息中添加它发出的日期时间。sink似乎不支持这一点。实现这一目标的最简单方法是什么？

也就是说，我的预期输出是

但我希望它是

或类似的东西。

我更喜欢不需要调整脚本的每一个输出的解决方案。我宁愿只在开始时将其设置在配置/包含文件中，以保持代码清洁和可管理。

编辑：此时此问题似乎无法重现，但我已将此问题更新为更简洁的示例，以说明行为是什么，以防万一有人遇到类似问题。

最后一行中的sink("~/R/res4.txt")函数将存储该"Here are my results"行，但不存储文件summary(res4)中的该行.txt。

打字summary(mtcars)会产生正确的数据集，我不明白为什么summary(mtcars)不包括输出。

text_with_headers 序列化器（HDFS sink 序列化器）允许保存 Flume 事件标头而不是丢弃它们。输出格式由标头、空格和正文负载组成。我们想删除正文并仅保留标题。对于 HBase 接收器，“RegexHbaseEventSerializer”允许我们转换事件。但我无法为 HDFS 接收器找到这样的规定。

我编写了以下代码将控制台输出重定向到文本文件。当我以交互方式运行代码时，所有三个命令（dim、str、summary）的输出都会出现在文本文件中。但是，当我将代码放在函数中并通过函数调用交互运行时，只会出现 str 命令输出。这可能是一个缓冲问题。有什么建议么？

操作系统：OS X 10.9.5（小牛）；R 3.1.1 GUI 1.65 Mavericks 构建 (6784)

此代码有效...

此代码不能可靠地工作......只有 str() 输出出现在文本文件中。

FileInfoLog.txt 来自有效的代码......

==================================================== ==============

尺寸为 [1] 28947 17

==================================================== ==============

结构是'data.frame'：28947 obs。17 个变量： $ store : int 2 2 2 2 2 2 2 2 2 2 ... $ brand : Factor w/ 3 个级别 "dominicks","minute.maid",..: 3 3 3 3 3 3 3 3 3 3 ... $ 周：int 40 46 47 48 50 51 52 53 54 57 ... $ logmove：num 9.02 8.72 8.25 8.99 9.09 ... [...]

==================================================== ==============

总结是商店品牌周 logmove 壮举价格 AGE60 分钟
。：2.00 多米尼克：9649 分钟。: 40.0 分钟。: 4.159 分钟。:0.0000 分钟。:0.520 分钟。:0.05805
第一排: 53.00 分钟女仆:9649 第一排: 70.0 第一排: 8.490 第一排:0.0000 第一排:1.790 第一排:0.12210
中位数: 86.00 热带:9649 中位数:101.0 中位数: 9.034 :0.0000 中位数 :2.170 中位数 :0.17065
平均值 :80.88 平均值 :100.5 平均值 :9.168 平均值 :0.2373 平均值 :2.282 平均值 :0.17313
3rd Qu.:111.00 3rd Qu.:130.0 3rd Qu.:000.0 3rd Qu.0 2.730 第三曲：0.21395
最大限度。:137.00 最大。:160.0 最大。:13.482 最大。:1.0000 最大。:3.870 最大。：0.30740
[...]

FileInfoLog.txt 来自无法可靠工作的代码...

==================================================== ==============

尺寸是

==================================================== ==============

结构是'data.frame'：28947 obs。17 个变量： $ store : int 2 2 2 2 2 2 2 2 2 2 ... $ brand : Factor w/ 3 个级别 "dominicks","minute.maid",..: 3 3 3 3 3 3 3 3 3 3 ... $ 周：int 40 46 47 48 50 51 52 53 54 57 ... $ logmove：num 9.02 8.72 8.25 8.99 9.09 ... [...]

==================================================== ==============

总结是

我有一个需要更新或插入数据到多个数据存储的场景。这不是逻辑的编排，只是插入/更新数据。但是多个后端。比如说 Oracle、Mongo、DB2 等。有多种方法可以实现它。我们正在研究以下选项：

1）使用点击更新主流上的不同后端。我担心这是 WireTap 模式的反模式。请指教。

2）我看到的更清洁的方法是开发一个自定义接收器来使用 Spring Integration 更新不同的后端。这种方法是有效/令人愉快的模式吗？

请提供您的意见，哪些是实现此用例的正确方法。

谢谢卡提克

在 Spring-XD 中，文件 源检测输入目录中的新文件并通过管道流式传输它们的内容。

是否有类似的接收器在输出目录中创建单独的结果文件（例如使用原始文件名），而不是所有结果都附加到的单个文件，http://docs.spring.io/spring-xd/docs/ current/reference/html/#file-sink：“文件接收器使用流名称作为它创建的文件的默认名称，并将文件放在 /tmp/xd/output/ 目录中。”？

我正在尝试使用日期自动更新接收器文件的名称，但没有任何运气。以下是我所拥有的，有什么建议吗？