kakfa - 程序员宅基地

【项目实战】Java 开发 Kafka 消费者

Kafka 消费者是使用 Apache Kafka 消息队列系统的应用程序，它们用于从 Kafka 主题（topics）中读取消息。消费者订阅一个或多个主题，并从这些主题中拉取消息以进行处理。消费者可以以不同的方式配置，例如，可以...

【Kafka】Kafka监控工具Kafka-eagle简介

Kafka-eagle是一种基于Web的开源管理工具，可以用来监控、管理多个Kafka集群。下面是使用Docker部署Kafka-eagle的步骤：下载并安装Docker和Docker Compose。等待一段时间后，您可以通过浏览器打开，进入Kafka-eagle ...

Kafka学习笔记01【2024最新版】

标签： kafka 学习笔记

为什么分布式系统之间它需要使用一个软件来完成数据交换的这个过程？那说到我们数据交换啊，在java开发的这个普通场景中，主要指的就是线程和线程之间的数据交换以及呢进程和进程之间的数据交换。...

DigitalOcean 托管 Kafka 新增横向扩展功能

标签： kafka 分布式云计算

DigitalOcean托管Kafka提供横向扩展功能，帮助你提高集群的可靠性，并优化资源，可以根据波动的工作负载需求正确配置节点/代理。

Kafka部署

标签： kafka zookeeper 分布式

Kafka集群环境搭建，需要准备好一个zookeeper环境（集群），zookeeper需要java环境 tar xf /java_v1.8.0-201_zhuizhi_20200423 /usr/local/java.tar.gz ln -s /data/java/java_v1.8.0-201_zhuizhi_20200423 /usr/...

Kafka可视化利器 KafkaTool 发送kafka消息

标签： kafka java 分布式

利用KafkaTool 发送kafka消息

Kafka客户端工具：Offset Explorer 使用指南

标签： kafka 分布式

Kafka客户端工具：Offset Explorer 使用指南

02 - 步骤 Kafka consumer

标签： kafka 分布式 etl

Kafka consumer 步骤，用于连接和消费 Apache Kafka 中的数据,它可以作为数据管道的一部分，将 Kafka 中的数据提取到 Kettle 中进行进一步处理、转换和加载，或者将其直接传输到目标系统中。

使用docker 和 kubnernetes 部署单节点/多节点 kafka 环境

标签： kafka docker 分布式

使用docker 和 kubnernetes 部署单节点/多节点 kafka 环境

SpringBoot集成Kafka

标签： java kafka springboot

SpringBoot集成Kafka工程搭建 SpringBoot集成Kafka配置 SpringBoot集成Kafka生产消息 SpringBoot集成Kafka消费消息

【Kafka】Kafka生产者producer相关参数详解batch.size linger.ms 等参数

标签： kafka batch linq

在消息发送的过程中，涉及到了两个线程 — main 线程和Sender线程。在main线程中创建了一个...main线程将消息发送给ResordAccumlator，Sender线程不断从 RecordAccumulator 中拉去消息发送到 Kafka Broker彩图灰色图。

搭建大型分布式服务（三十七）SpringBoot 整合多个kafka数据源-取消限定符

标签： spring boot kafka linq

本插件稳定运行上百个kafka项目，每天处理上亿级的数据的精简小插件，快速上手。< dependency > < groupId > io.github.vipjoey < artifactId > multi-kafka-consumer-starter < version > 最新版本号

kafka介绍

标签： java

一、kafka介绍 1.kafka简单介绍 2.kafka使用场景 3.kafka基本概念 4.kafka的安装 5.java实现消息的生产和消费优秀的程序架构设计需要遵循的守则：低耦合，高内聚。一、kafka介绍 1.kafka简单介绍 ...

Kafka基本使用

标签： kafka 分布式

查看Kafka的进程是否在运行。

搭建大型分布式服务（三十六）SpringBoot 零代码方式整合多个kafka数据源

标签： spring boot kafka linq

让我们来看一下网上是怎样使用SpringBoot整合kafka数据源的，都存在哪些痛点？手撸kafka配置代码，各种硬编码，无法利用SpringBoot的约定大于配置的优势。当项目需要消费的topic，而且他们在不同集群时，需要不断地...

Kafka 2.13-3.7.0 在 Windows 上的安装与配置指南

标签： kafka

Kafka 2.13-3.7.0 在 Windows 上的安装与配置指南

kafka集群搭建

标签： kafka 分布式

kafka集群

【Kafka】Docker安装kafka、搭建kafka集群

标签： kafka docker 分布式

docker安装kafka、搭建kafka集群进行测试

搭建大型分布式服务（三十二）十分钟搭Springboot积木 - 完成Kafka消息转存到ES

标签：容器 jolt json

将kafka消息转存到es，提供业务方检索，这是一种很常见的业务场景。例如数据检索、日志ELK等等。但假如kafka的消息结构和es的数据结构相差比较大，怎样办呢？硬编码去做字段映射？本文介绍一个便捷的方式，15分钟...

JMeter向kafka发送数据

标签： jmeter 功能测试软件测试

项目测试服务消费Kafka能力，需要消费特定格式的数据，因此要向Kafka中灌入数据，给老铁们分享下jmeter向kafka发送数据方法： 1. 首先在jmeter如下目录中导入一个kafka相关的jar包，如图：

Kafka 开启 SASL/PLAINTEXT 认证及 ACL

标签： kafka linux java

Linux 安装 Kafka 并开启 SASL/PLAINTEXT 认证

Kafka-使用springBoot连接

标签： kafka springboot hodoop

Kafka-使用springBoot连接注意事项连接kafka的电脑需要设置hosts如下： 192.168.1.251 node1 192.168.1.252 node2 192.168.1.253 node3 具体根据个人的实际情况配置 maven依赖 <dependency> <groupId&...

centos7安装Kafka Eagle

标签： kafka centos

centos7安装Kafka Eagle

Kafka在Mac下的安装与使用

标签： java zookeeper kafka

kafka在Mac下的安装与使用，比如启动、关闭。如果zookeeper关闭，但kafka没有关闭，zookeeper的子进程就没有关闭。

《Kafka系列》Kafka常见问题处理记录

标签： kafka java 分布式

1.kafka创建topic失败， Replication factor: 1 larger than available brokers: 0; 2.服务器Cannot allocate memory; 3.Offset Explorer连接Kafka问题集合，(Timeout expired while fetching topic metadata),...