Flume工具

 

一、概述

  1. Flume最早是Cloudera提供的分布式的日志收集系统,后贡献给Apache
  2. Flume是一个高可用的,高可靠的 、健壮性,分布式的海量日志采集、聚合和传输的系统
  3. Flume支持在日志系统中定制各类数据发送方,用于收集数据(source)
  4. Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力(sink)。

 

二、版本

  1. Flume0.9X:又称Flume-og,老版本的flume,需要引入zookeeper集群管理,性能也较低(单线程工作)
  2. Flume1.X:又称Flume-ng。新版本需要引入zookeeper,和flume-og不兼容

 

三、Flume的特性

  1. 可靠性:事务型的数据传递,保证数据的可靠性。一个日志交给flume来