最终正确的example.conf文件如下:
问题:
1 Class Not Found
需要使用正确的type即KafkaSource,网上有些type是org.apache.flume.plugins.KafkaSource
,已经与Flume1.6.0不兼容了。
2 Unable to start PollableSourceRunner
主要原因是zookeeper.jar没有被Flume找到,因此解决这个问题的步骤如下:
- clone flume.env.template and rename one to flume.env.
- edit flume.env and set the zookeeper path like this:
3 Flume与kafka通讯速度慢
把partition.key和partition.class配置去掉,调整flume日志级别为ERROR级,处理性能可以提升不少。
80万数据不到10S处理完成。