kakfa - 程序员宅基地

kafka实践（十五）：滴滴开源Kafka管控平台 Logi-KafkaManager研究

滴滴开源了其Kafka 监控与管控平台 Logi-KafkaManager，因为有30+个集群的维护经验，使用过kafka-manager，kafka-eagle，kafka-mirrorkaker工具，所以很期待能有1个工具能够整合kafka所有工具优点于一身，这样对于...

Flink1.14新版KafkaSource和KafkaSink实践使用(自定义反序列化器、Topic选择器、序列化器、分区器)

标签： kafka flink scala

Flink1.14新版KafkaSource和KafkaSink实践使用(自定义反序列化器、Topic选择器、序列化器、分区器)

Kafka 安装入门实战

标签： kafka kafka安装 kafka入门

kafka安装

【kafka】kafka 脚本 kafka-run-class.sh 使用介绍 jmx监控查看jmx信息

标签： kafka kafka-run-class jmx监控

Kafka内部提供了许多管理脚本，这些脚本都放在$KAFKA_HOME/bin目录下，而这些类的实现都是放在源码的kafka/core/src/main/scala/kafka/tools/路径下。 2.Consumer Offset Checker Consumer Offset Checker主要是运行...

Kafka常见topic命令

标签： kafka 大数据

Kafka常见topic命令

Springboot整合kafka

标签： kafka spring boot java

Springboot 整合kafka ，简单实现

kafka常见命令集锦

标签： kafka zookeeper 分布式

熟练使用zookeeper客户端操作kafka节点，通过命令的方式验证kafka各个组件之间的关联关系。相关概念 Broker kafka节点，多个broker组成kafka集群。 Topic 即主题，kafka通过Topic对消息进行分类，发布到kafka...

kafka 命令行操作大全

标签： kafka 大数据

kafka 命令行操作大全一、集群相关常用命令二、topic相关常用命令2.1 脚本&参数简介2.2 举例这里主要讲命令行操作，如何安装网上太多资料，所以这里就不再赘述了。一、集群相关常用命令 # 启动zookeeper bin/...

Kafka Broker 工作流程

标签： kafka 分布式 java-zookeeper

通过ls命令列出kafka节点内容。

Kafka系列之：增加Kafka节点扩展Kafka集群

标签： Kafka系列增加Kafka节点扩展Kafka集群

Kafka系列之：增加Kafka节点扩展Kafka集群

Kafka 认证一：PlainLoginModule 认证及 Java 连接测试

标签： java kafka 安全认证

项目需求是：通过 Web 页面配置 Kafka 信息并存储，且支持安全认证模式。本文介绍 Kafka 帐号密码认证的完整实践流程，自己实践一遍，才能穿起各个概念。Kafka 的 Plain 简单文本认证方式比较简单，只需要 Kafka ...

Kafka常用监控

标签： kafka 监控

Kafka社区似乎一直没有在监控框架方面投入太多的精力，目前Kafka监控方案看似很多，然而并没有一个"大而全"的通用解决方案，各家框架也是各有千秋。很多公司和个人都自行着手开发 Kafka 监控框架，其中并不乏佼佼者...

prometheus监控Kafka (kafka_exporter和 jmx_exporter)

标签： kafka big data

二、kafka_exporter部暑 mkdir /data/kafka_exporter -p cat > /data/kafka_exporter/start.sh << 'EOF' docker rm -f kafka_exporter docker run -d \ --restart=always \ --name kafka_exp

再见了kafka2.0时代，去掉了zk的kafka3.0才是时代新王！

标签：运维 java 人工智能

项目初期，对于消息队列，你会选择Kafka、ActiveMQ还是RabbitMQ？对于这个问题，反向来看，估计很少有人会选择Kafka。而kafka3.0的诞生彻底扭转了战局！虽然凭借着高...

kafka ui

标签： kafka java kafak ui

kafka ui，一款kakfa的web管理工具,支持多集群管理。以下是各种kafka管理工具的对比。

kafka 配置部署及SASL安全认证

标签： kafka

kafka 使用 SASL认证 kafka 集群部署

聊聊在springboot项目中如何配置多个kafka消费者

标签： kafka spring boot java

但很多时候我们会使用spring-kafka来简化开发，可是spring-kafka原生的配置项并没提供多个kafka配置，因此本文就来聊聊如何将spring-kafka进行改造，使之能支持多个kafka配置聊聊如何实现一个带幂等模板的kafka消费...

Kafka内容总结

标签： kafka big data

一、kafka的消费模式 Kafka的消费模式主要有两种：一种是一对一的消费，也即点对点的通信，即一个发送一个接收。第二种为一对多(发布/订阅模式)的消费，即一个消息发送到消息队列，消费者根据消息队列的订阅拉取...

开启kafka密码认证

标签： kafka

一 kafka认证方式类型 kafka提供了多种安全认证机制，主要分为SSL和SASL大类。其中SASL/PLAIN是基于账号密码的认证方式，比较常用 1.1 SSL 1.2 SASL 1.2.1 SASL/Kerberos 1.2.2 SASL/PLAIN 1.2.3 SASL...

Kafka上K8S实战

标签： kafka docker 分布式

随着业务规模的发展，需要的kafka集群越来越来，这给部署与管理带来了很大的挑战。我们期望能够利用K8S优秀的扩容能力与快速部署能力，为日常的工作减负。所以就kafka上K8S的可行性方案进行了调研。像kafka集群...

跟我学Kafka:Kafka消费组运维详解

标签： kafka

kafka系列第二篇，该系列将见证笔者从Kafka小白进阶专家之路，欢迎各位小伙伴关注，一起前行。

【kafka-ui】支持kafka with kraft的可视化集群管理工具

标签： kafka 分布式

支持kafka3.3.1的kafka可视化客户端，并且可以连接带认证的kafka集群

kafka学习之一java api的使用

标签： kafka java 分布式

本篇博文介绍了kafka在java环境的api使用，主要提供了三种方式 1、单纯的api调用kafka生产消费、2、spring整合kafka 3、springBoot整合kafka，是一篇不错的java使用kafka的示例，需要读者收藏以便以后使用。

SpringBoot集成Kafka详解

标签： spring boot kafka java

一文学会Kafka整合SpringBoot及其基本使用

【kafka专栏】不用zookeeper怎么安装kafka集群-最新kafka3.0版本

标签： kafka zookeeper kafka3.0

在kafka3.0中已经可以将zookeeper去掉，kafka集群不再必须依赖zookeeper，这为运维强度的下降提供了非常多的帮助。本文为大家介绍kafka3.0，不用zookeeper如何进行集群的安装。

7.【kafka运维】 kafka-consumer-groups.sh消费者组管理

标签： kafka

文章目录消费者组管理 kafka-consumer-groups.sh1. 查看消费者列表`--list`2. 查看消费者组详情`--describe`3. 删除消费者组`--delete`4. 重置消费组的偏移量 `--reset-offsets`5. 删除偏移量`delete-offsets`More ...