kafka
Kafka 安装使用
Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。本文介绍 Kafka 的安装部署与使用方法。
Apache Avro 数据序列化格式详解
本文系统介绍 Apache Avro 二进制数据序列化系统:它以 JSON 定义 Schema、以紧凑二进制编码数据、文件头部内嵌 Schema 并支持向后兼容的 Schema 演进,是 Kafka 消息流与数据湖 Raw 层落地的事实标准之一。文章通过 fastavro 实测代码演示 Avro Data File 读写与 schemaless 内存序列化两种模式,并给出与 Parquet、Protobuf、JSON 的选型对比及生产环境常见踩坑点。
Docker 部署 Kafka (KRaft 模式)
KRaft(Kafka Raft Metadata mode)自 Kafka 2.8 引入、3.3 起生产就绪,4.0 起彻底移除 ZooKeeper,成为唯一部署形态。本文介绍基于 Apache 官方镜像
apache/kafka部署单节点 Kafka(开发/测试环境)与基于 Docker Compose 部署 3 节点 KRaft 集群(生产环境)的方案,以及生产环境中高频使用的维护命令。