kafka生产者数据压缩前后吞吐量对比

1.服务器信息:
Cpu: 16 Intel(R) Xeon(R) CPU E5-26xx v3
内存: 32G
硬盘: 500G

2.测试结果:
1000万条数据压力测试,默认平均吞吐量是55MB/S,压缩后平均吞吐量是64MB/s,整体提升16.4%。

Heka开发指南

《Heka开发指南》

作者邮箱:drupaluser#qq.com
有需要完整电子版本请邮箱联系。
版权所有,转载或引用注明出处。

Heka是Mozilla开发的一个开源的流式处理软件系统。Heka在数据处理工具中号称“瑞士军刀”,其用处广泛,例如:

  • 加载和解析文件系统中的日志文件。
  • 接受statsd类型的聚合数据,以及转发上游的时序数据存储到graphite或InfluxDB。
  • 启动外部进程收集本地系统操作数据。
  • 通过Heka管道实现任何数据的实时统计、分析和异常检测。
  • 通过外部协议(如AMQP)或直接TCP来传输数据。
  • 处理数据实现多个持久存储。

目录:
第1章:概述
第2章:安装
第3章:配置
第4章:Inputs
第5章:Splitters
第6章:Decoders
第7章:Filters
第8章:Encoders
第9章:Outputs
第10章:监控
第11章:消息
第12章:扩展
第13章:测试

页面

Subscribe to 水滴石穿 RSS