存储专题

存储专题

介绍

• 分布式存储可靠性常用方法
  • 冗余：存储多副本，数据丢失时，从副本获取，如 Redis 的集群，MySQL 的主备模式
  • 校验法：通过校验码的数学计算的方式，对出现丢失、损坏的数据进行校验、还原，如硬盘存储中的 RAID 技术，纠删码（Erasure Coding，EC）技术等
    • 有趣的纠删码(erasure code)
    • Erasure Code - EC 纠删码原理
• 常见的存储
  • BeeGFS 是一个网络文件系统和并行文件系统，组成
    • Management Server(MS)
    • MetaData Server(MDS)
    • ObjectStorage Server(OSS)
      • 每个 OSS 可能具有一个或多个 Object Storage Targets(OST)，OST 可以是本地文件系统(如 xfs，ext4 或 zfs)或 LUN
  • MFS 是一个具有容错性的网络分布式文件系统，组成
    • Meta Logger Server 元数据日志服务器
    • Chunk Server 数据存储服务器
    • Client 客户端
  • FileRun 是一个自托管、安全可靠的平台，可让用户管理、共享和同步文件
  • SeaweedFS 是一个快速分布式存储系统，适用于 blob、对象、文件和数据湖，可存储数十亿个文件！ Blob 存储具有 O(1) 磁盘查找、云分层。 Filer 支持 Cloud Drive、跨 DC 双活复制、Kubernetes、POSIX FUSE 挂载、S3 API、S3 网关、Hadoop、WebDAV、加密、纠删码
    • JuiceFS 对比 SeaweedFS
    • seaweedfs/seaweedfs-csi-driver
• Fire-Flyer File System, 3fs 一个高性能分布式文件系统，旨在应对人工智能训练和推理工作负载的需求，由 DeepSeek 开源