Kafka监控工具


说监控工具之前,先看看Kafka都有哪些“发行版本”(和Linux发行版本一样的概念)。

“Kafka发行版本”

Apache Kafka

Apache Kafka 是Apache 基金会顶级开源项目。社区版 Kafka优势在于迭代速度快,社区响应度高,使用它可以让你有更高的把控度;缺陷在于仅提供基础核心组件,缺失一些高级的特性。

Confluent Kafka

Confluent公司发布的Confluent Kafka。Confluent Kafka 提供了一些 Apache Kafka 没有的高级特性,比如跨数据中心备份、Schema 注册中心以及集群监控工具等。优势在于集成了很多高级特性且由 Kafka 原班人马打造,质量上有保证;缺陷在于相关文档资料不全,普及率较低,没有太多可供参考的范例。

Cloudera/Hortonworks Kafka

Cloudera 提供的 CDH 和 Hortonworks 提供的 HDP 是非常著名的大数据平台,里面集成了目前主流的大数据框架,能够帮助用户实现从分布式存储、集群调度、流处理到机器学习、实时数据库等全方位的数据处理。优势在于操作简单,节省运维成本;缺陷在于把控度低,演进速度较慢。

由于社区版本并未提供监控工具,所以监控就是一个比较麻烦的问题,大公司一般自己定制开发,创业公司或者小公司一般采用线程的监控工具,我就罗列几种监控工具,具体使用还得根据自己的实际情况进行选择。

Kafka监控工具

  • Logi-KafkaManager
  • JMXTrans + InfluxDB + Grafana
  • kafka-eagle
  • Kafka tool
  • Kafka Manager
  • Kafka Monitor

文章作者: maybe
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 maybe !