kafka

  • Kafka 安装使用

    Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。本文介绍 Kafka 的安装部署与使用方法。

  • Apache Avro 数据序列化格式详解

    本文系统介绍 Apache Avro 二进制数据序列化系统:它以 JSON 定义 Schema、以紧凑二进制编码数据、文件头部内嵌 Schema 并支持向后兼容的 Schema 演进,是 Kafka 消息流与数据湖 Raw 层落地的事实标准之一。文章通过 fastavro 实测代码演示 Avro Data File 读写与 schemaless 内存序列化两种模式,并给出与 Parquet、Protobuf、JSON 的选型对比及生产环境常见踩坑点。

  • Docker 部署 Kafka (KRaft 模式)

    KRaft(Kafka Raft Metadata mode)自 Kafka 2.8 引入、3.3 起生产就绪,4.0 起彻底移除 ZooKeeper,成为唯一部署形态。本文介绍基于 Apache 官方镜像 apache/kafka 部署单节点 Kafka(开发/测试环境)与基于 Docker Compose 部署 3 节点 KRaft 集群(生产环境)的方案,以及生产环境中高频使用的维护命令。