bigdata

  • 大数据专题

    本文介绍大数据相关的概念、软件、环境部署和使用等。大数据分析的挑战包括采集数据、数据存储、数据分析、搜索、共享、传输、可视化、查询、更新、信息隐私和数据源等。

    2018-04-14 bigdata bigdata
  • Kafka 安装使用

    Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。本文介绍 Kafka 的安装部署与使用方法。

  • ElasticSearch 安装使用

    ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful web 接口。本文介绍 ElasticSearch 安装使用。

  • Filebeat 安装使用

    Filebeat 是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat 会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到 elasticsearch 或者 logstarsh 中存放。本文介绍 Filebeat 安装部署。

  • Fluentd 安装使用

    Fluentd 比基于 JVM 的 Logstash 轻量,但重于基于 Go 的 Filebeat(Fluentd 核心用 Ruby 实现,常驻内存一般 4080MB,Filebeat 通常仅 1030MB;追求极致轻量可用 C 实现的 Fluent Bit)。本文介绍 Fluentd 安装使用方法。

  • Kibana 安装使用

    Kibana 是一套分析与可视化平台,构建于 Elasticsearch 之上,旨在帮助用户更好地实现数据理解。

  • Logstash 安装使用

    Logstash 是一个具有实时流水线功能的开源数据收集引擎,Logstash 可以动态地统一来自不同数据源的数据,并将数据规范化到您所选择的目的地,对于各种高级的下游分析和可视化用例清理和统一化所有的数据。本文介绍 Logstash 安装使用。

  • Apache Avro 数据序列化格式详解

    本文系统介绍 Apache Avro 二进制数据序列化系统:它以 JSON 定义 Schema、以紧凑二进制编码数据、文件头部内嵌 Schema 并支持向后兼容的 Schema 演进,是 Kafka 消息流与数据湖 Raw 层落地的事实标准之一。文章通过 fastavro 实测代码演示 Avro Data File 读写与 schemaless 内存序列化两种模式,并给出与 Parquet、Protobuf、JSON 的选型对比及生产环境常见踩坑点。

  • Docker 部署 Kafka (KRaft 模式)

    KRaft(Kafka Raft Metadata mode)自 Kafka 2.8 引入、3.3 起生产就绪,4.0 起彻底移除 ZooKeeper,成为唯一部署形态。本文介绍基于 Apache 官方镜像 apache/kafka 部署单节点 Kafka(开发/测试环境)与基于 Docker Compose 部署 3 节点 KRaft 集群(生产环境)的方案,以及生产环境中高频使用的维护命令。

  • Elasticsearch 索引自动清理及自定义清理

    ElasticSearch 索引文件随时间大的吓人,服务器需要定期清理索引,本文介绍自动清理 ElasticSearch 索引方法。