拆解小红书存储底座 03｜从存得下到读得快：小红书自研对象存储实践
bestblogs精选内容 · 科技资讯
📌 一句话摘要 小红书自研对象存储 ROS 通过混合云架构、HDD 内外圈放置与 SSD RDMA 优化，实现高带宽读写，支撑多媒体、大数据和 AI 训练等业务场景。 📝 详细摘要 本文介绍了小红书自研对象存储 ROS 的整体架构与核心设计。ROS 采用自建与公有云共同承载数据的混合云架构，业务通过 S3 SDK 统一接入；多云统一网关负责协议适配、鉴权、流控和路由；RedDB 提供千亿对象规模的元数据服务；RedStore 提供 HDD 与 SSD 两类存储引擎。HDD 引擎通过内外圈放置、亲和预分配与预读，实现每 PiB 提供 20 Gbps 读带宽和 10 Gbps 写带宽；SSD 引擎利用 RDMA 网络、SPDK 用户态 I/O 与 NUMA 亲和，实现每 PiB 提供 1Tbps 读带宽和 250Gbps 写带宽。文章还说明了对象分块与数据保护机制（内联、副本、EC 编码），以及分层寻址与未来计划引入层级命名空间等。 💡 主要观点 混合云架构与统一接入 ROS 采用自建与公有云共同承载数据的混合云架构，业务通过 S3 SDK 统一接入；多云统一网关负责协议适配、鉴权、流控和路由，屏蔽不同存储后端的接口差异。 HDD 存储引擎的高带宽优化 通过内外圈放置、亲和预分配与预读技术，减少随机寻道、提升连续访问效率，在读写比为 2∶5、平均对象大小为 64 MiB 的负载下，每 PiB 可提供 20 Gbps 读带宽和 10 Gbps 写带宽。 SSD 存储引擎的网络与 I/O 优化 利用 RDMA 网络减少 CPU 开销与数据拷贝，结合 SPDK 用户态 I/O 与 NUMA 亲和，实现每 PiB 提供 1Tbps 读带宽和 250Gbps 写带宽，满足 AI 训练与索引加载的持续大带宽需求。 对象分块与数据保护机制 按对象大小分级：小于 1KiB 内联保存在 RedDB；1~512KiB 采用 4 副本；512KiB 及以上采用 EC 编码（8+3）保护，跨 DataNode 放置，支持容错与恢复。 分层寻址与未来规划 RedDB 提供 Blob 布局与标识，系统通过 Cluster、Space、Volume、Vlet 等层级定位数据；未来计划引入层级命名空间（HNS/FNS）并扩展跨引擎数据流转能力。 💬 文章金句 从多云统一接入到 HDD、SSD 引擎优化，看小红书自研对象存储 ROS 如何兼顾容量、带宽与成本，支撑多媒体、大数据和 AI 训练。 每 PiB 可提供 20 Gbps 读带宽和 10 Gbps 写带宽。 每 PiB 提供 1Tbps 读带宽和 250Gbps 写带宽。 RDMA 减少网络处理的 CPU 开销与数据拷贝；网络 Poller 与各盘 SPDK Poller 异步协作，减少中断和调度开销。 📊 文章信息 AI 初评： 91 精选文章： 是 来源： 小红书技术REDtech 作者： 小红书技术REDtech 分类： 软件编程 语言： 中文 阅读时间： 12 分钟 字数： 2797 标签： 编程与工程 , 数据库 , 分布式系统 , 性能优化 , 云原生 / DevOps 阅读完整文章