上篇笔记对Flume的使用处景和系统架构做了介绍,本篇笔记以实例说明Flume的配置方法。下面开始正文。
1. Flume使用实例
1.1 配置
Flume agent的3个组件及其拓扑关系是在配置文件中指定的,总的原则是必须列出source/channel/sink的name/type等重要的配置项,并通过channel将source(s)和sink(s)连接起来,另外,1个source可以指定多个channel,而1个sink只能接收来自1个channel的数据。
这里给出的是部署1套含1个source、1个channel、1个sink的Flume agent的配置示例,更多的配置规则可以参考Flume User Guide的Configuration部份。
假定外部数据源是nginx的access_log,为保证数据不丢失(通过ExecSource履行tail