bigdata
大数据专题
本文介绍大数据相关的概念、软件、环境部署和使用等。大数据分析的挑战包括采集数据、数据存储、数据分析、搜索、共享、传输、可视化、查询、更新、信息隐私和数据源等。
Kafka 安装使用
Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。本文介绍 Kafka 的安装部署与使用方法。
ElasticSearch 安装使用
ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful web 接口。本文介绍 ElasticSearch 安装使用。
2018-04-22 bigdata bigdataelasticelasticsearchluceneFilebeat 安装使用
Filebeat 是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat 会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到 elasticsearch 或者 logstarsh 中存放。本文介绍 Filebeat 安装部署。
Fluentd 安装使用
Fluentd比基于 JVM 的Logstash轻量,但重于基于 Go 的Filebeat(Fluentd 核心用 Ruby 实现,常驻内存一般 4080MB,Filebeat 通常仅 1030MB;追求极致轻量可用 C 实现的 Fluent Bit)。本文介绍Fluentd安装使用方法。Kibana 安装使用
Kibana 是一套分析与可视化平台,构建于 Elasticsearch 之上,旨在帮助用户更好地实现数据理解。
Logstash 安装使用
Logstash 是一个具有实时流水线功能的开源数据收集引擎,Logstash 可以动态地统一来自不同数据源的数据,并将数据规范化到您所选择的目的地,对于各种高级的下游分析和可视化用例清理和统一化所有的数据。本文介绍 Logstash 安装使用。
Apache Avro 数据序列化格式详解
本文系统介绍 Apache Avro 二进制数据序列化系统:它以 JSON 定义 Schema、以紧凑二进制编码数据、文件头部内嵌 Schema 并支持向后兼容的 Schema 演进,是 Kafka 消息流与数据湖 Raw 层落地的事实标准之一。文章通过 fastavro 实测代码演示 Avro Data File 读写与 schemaless 内存序列化两种模式,并给出与 Parquet、Protobuf、JSON 的选型对比及生产环境常见踩坑点。
Docker 部署 Kafka (KRaft 模式)
KRaft(Kafka Raft Metadata mode)自 Kafka 2.8 引入、3.3 起生产就绪,4.0 起彻底移除 ZooKeeper,成为唯一部署形态。本文介绍基于 Apache 官方镜像
apache/kafka部署单节点 Kafka(开发/测试环境)与基于 Docker Compose 部署 3 节点 KRaft 集群(生产环境)的方案,以及生产环境中高频使用的维护命令。Elasticsearch 索引自动清理及自定义清理
ElasticSearch 索引文件随时间大的吓人,服务器需要定期清理索引,本文介绍自动清理 ElasticSearch 索引方法。
2018-04-29 bigdata bigdataelasticelasticsearch