首页 文章

使用文件通道在水槽中耗尽可用空间

提问于
浏览
5

我正在使用Flume将Spool目录作为源,将HDFS作为接收器,将File作为通道 . 执行水槽工作时 . 我遇到了问题 . 内存通道工作正常 . 但我们需要使用文件通道实现相同的功能 . 使用文件 Channels 我遇到了问题 .

我在flume.env.sh文件中将JVM内存大小配置为3GB . 请让我知道我们需要做的任何其他设置 .

2016年1月20日20:05:27,099 ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor](org.apache.flume.SinkRunner $ PollingRunner.run:160) - 无法发送事件 . 以下是例外情况 . java.lang.IllegalStateException:通道已关闭[channel = Artiva-memory-channel] . 由于java.io.IOException:可用空间耗尽,仅剩427515904字节,需要524288000字节

2 回答

  • 1

    文件通道与内存无关,但与HDD(磁盘)无关 . 这样的通道使用文件系统来存储数据 . 因此,请检查写入检查点文件和数据文件的磁盘中有多少可用空间(请查看FileChannel参数) .

  • 0

    ERROR消息与存储信道有关 . 见"Channel closed [channel=Artiva-memory-channel]" .
    检查分配给相关HDFS接收器的通道 . 它位于flume.conf文件中,属性如:agent_name.sinks.hdfs_sink_name.channel

相关问题