问题标签 [sink]

我应该说我对 R 比较陌生。

我正在尝试使用 sink() 函数将输出写入新文件。

当我只想让它显示输出时，Sink() 似乎正在返回所有内容，包括所有命令。

例如：

如果我从源代码运行以下代码：

RStudio 创建一个新文件，其中包含以下文本：

我认为这应该只是输出

有人可以告诉我如何让 sink() 忽略命令吗？

谢谢大家的时间。

以下是我在 flume.conf 中的设置：

我希望文件可以按一定的大小或间隔滚动，但滚动设置（rollSize、rollInterval、rollCount）无法生效，没有生成hdfs文件。几分钟后我得到了这个错误：

[SinkRunner-PollingRunner-DefaultSinkProcessor] ERROR org.apache.flume.sink.hdfs.HDFSEventSink - process failed java.lang.OutOfMemoryError: GC overhead limit exceeded

谁能帮忙指出适当的 HDFS Sink 设置？

我一直在为 FTP 开发这个 R 库一段时间，我最近的努力是尝试制作一个从 FTP 服务器中删除内容的函数。但是，我发现自己被这个问题迷惑了很长一段时间。

这是我删除文件的代码：

每次我运行这段代码时，似乎都会打印出 FTP 文件夹的完整目录，这非常令人恼火，尤其是当我在大量文件上应用此功能时。你们对如何隐藏输出有什么建议/智慧吗？作为参考，我在 Windows 10 上使用 RStudio，即使在整个函数调用周围使用 sink()，我仍然可以打印整个目录。出去。

我尝试为我的 boost 多文件记录器设置动态日期，以将每天的日志文件分隔在不同的文件中，例如：' log___2018-07-10__172.17.18.199.log '。

我不想在代码中的每个函数中设置日期BOOST_LOG_SCOPED_THREAD_TAG！

我希望 boost 核心记录器做到这一点，我只想在全局属性中设置本地时钟，但我不知道该怎么做。这是我的代码：

但得到这个链接器错误：

谁能向我解释为什么会这样？

我正在尝试在 AWS EMR（带有 Flink 1.4.2 的 5.15 版）上部署我的 flink 作业。但是，我无法从我的流中获得任何输出。我试图创建一个简单的工作：

我使用以下命令执行它：

HADOOP_CONF_DIR=/etc/hadoop/conf；flink run -m yarn-cluster -yn 4 -c my.pkg.StreamingJob1 /home/hadoop/flink-test-0.1.jar hdfs:///user/hadoop/data/

没有错误，但屏幕上除了 flink 的 INFO 日志没有输出。

我尝试输出到 Kinesis 流或 S3 文件。没有任何记录。

我还尝试写入 HDFS 文件。在这种情况下，创建了一个文件，但大小 = 0。我确信输入文件已使用简单检查进行处理：

这产生了一个异常。

我在这里想念什么？

我有特殊的 Kafka HBase Sink 连接器问题，我将不胜感激任何建议或建议。

它是一个 3 节点 Kafka 集群 - 2 个节点用于连接分布式，1 个节点用于模式注册表 + kafka 流。Kafka 版本是 0.10.1，是 Hortonworks 平台 2.6.3 的一部分。还有 SSL 和 Kerberos 身份验证设置。最重要的是，我有自定义的 Kafka 应用程序，它接收消息，通过 Kafka 流处理它们并在 HBase 中传递它们。

过程模型为：

1）输入主题；

2）处理（在Kafka流中）；

3) 输出主题；

4) HBase sink 连接器；

5）HBase。

1) 中传递的消息被成功传输和处理，直到步骤 3) 包括在内。然后虽然接收器连接器工作正常，但没有消息传递到 HBase。

话虽如此，我使用单元测试创​​建了具有自己的基本设置的嵌入式 Kafka 集群来测试我们的自定义应用程序模型，并且测试成功。这很可能表明连接问题来自某些集群设置。

为了您的信息，我观察到 3 个具体的事情：

• 标准的消费者控制台功能能够成功地消费来自 sink 主题的消息；

• 已建立的接收器连接没有消费者 ID；

• 连接过程成功启动，但由于未记录的原因而停止，并且不调用 WorkerSinkTask java 类，实际上是写入 HBase 的地方。

另外重要的一点是可能配置错误的整个 SSL 加密和 Kerberos 身份验证设置。

如果有人遇到这种情况，我将非常感谢任何可能有帮助的评论。

地米塔

我试图用elasticsearch（版本为6.0.0）接收器构建一个flink流字数统计演示。不幸的是得到了跟随错误。这似乎是依赖冲突。

我的elasticsearch集群是6.0.0，flink依赖如下

elasticsearch相关依赖如下：

以及与 elastic 相关的代码：

具体来说，这个错误是在 Elasticsearch6ApiCallBridge.java 的方法中触发的

谢谢

我有一个列表列表，我想在 Shiny 中写入文件（.txt 或 .xlsx）。

在 R 中，我可以使用如下sink命令：

结果是一个txt文件：

如何在 Shiny 中使用这个 sink 功能为用户提供下载选项C？以及如何删除输出中的行索引？

我试过print(C,row.names = FALSE)了，但它不起作用。

我想要的输出应该是这样的：

我有一个闪亮的应用程序来生成.txt要下载的文件。此外，我想保留用户在我的闪亮服务器中生成的文件的副本。服务器功能如下所示：

我可以下载数据，但该应用程序对该create_file功能没有反应，也没有将副本写入闪亮的服务器。任何想法我怎么能解决这个问题？

我正在运行此代码：

变量“HypothesisTesting”是一个 3D 数组，尺寸为 2 x 2 x 2，包含“double”类型的值。

当我通过“源”运行代码时，我只在文件中得到以下结果

但是当我在“控制台”中运行它时，我得到以下结果保存在文件中：

为什么结果没有通过源保存，为什么只通过控制台保存？

我哪里错了？