程序员人生 网站导航

日志收集系统Flume调研笔记第2篇 - Flume配置及使用实例

栏目:框架设计时间:2015-06-05 08:40:03

上篇笔记对Flume的使用处景和系统架构做了介绍,本篇笔记以实例说明Flume的配置方法。下面开始正文。

1. Flume使用实例
1.1 配置

Flume agent的3个组件及其拓扑关系是在配置文件中指定的,总的原则是必须列出source/channel/sink的name/type等重要的配置项,并通过channel将source(s)和sink(s)连接起来,另外,1个source可以指定多个channel,而1个sink只能接收来自1个channel的数据
这里给出的是部署1套含1个source、1个channel、1个sink的Flume agent的配置示例,更多的配置规则可以参考Flume User Guide的Configuration部份。
假定外部数据源是nginx的access_log,为保证数据不丢失(通过ExecSource履行tail

------分隔线----------------------------
------分隔线----------------------------

最新技术推荐