VergeOS vSAN 块级架构和数据分布
VergeOS vSAN 块级架构的技术概述,涵盖基于哈希的数据分布、冗余管理、重复数据删除、跨节点分布和扩展策略。
概述
VergeOS vSAN 采用一种复杂的块级架构,构成其分布式存储系统的基础。该架构可在整个存储基础设施中实现高效的数据分发、高可用性和最佳性能。
相关文档
块级操作
数据块管理
块创建:
虚拟机磁盘被划分为多个块
为每个块分配唯一的加密哈希
块大小经过优化,以兼顾性能和效率
元数据跟踪块之间的关系和位置
基于哈希的分布
块标识:
每个数据块都会获得一个加密哈希值
哈希作为该块的唯一标识符
用于位置映射和重复数据删除
分布算法:
块根据哈希值进行分布
确保在可用节点之间均匀分布
防止存储系统中的热点
促进高效的数据检索
数据分发架构
主存储
块放置:
每个块的主副本存储在最优节点上
放置由基于哈希的算法确定
考虑存储层级要求
针对性能和容量进行优化
主存储
访问模式:
读取优先采用单副本访问以提高效率
系统默认从主副本读取
如果主副本缓慢或无响应,则自动从冗余副本读取
当位于同一节点时,通过读取本地冗余副本进行优化
写入操作始终同时更新主副本和冗余副本
根据需要自动重新分布
数据访问
读取操作:
通过哈希快速查找块位置
智能源选择:
优先使用主副本
当位于同一节点时使用本地冗余副本
如果主副本无响应,则切换到冗余副本
针对最小网络流量进行优化
通过感知本地性实现性能优化
写入操作:
生成新块哈希
同时更新主副本和冗余副本
确保副本之间的写入一致性
元数据更新
一致性维护
冗余存储
冗余管理:
保留次级副本以保护数据
分布在不同节点上
自动同步副本
可配置的冗余级别
故障切换处理:
自动切换到冗余副本
对应用和虚拟机透明
节点故障期间立即可用
自愈能力
哈希映射功能
核心组件
哈希映射结构:
将块哈希映射到物理位置
维护块元数据
跟踪冗余副本
处理版本控制
位置跟踪:
实时块位置更新
高效的查找机制
针对大规模系统优化
支持动态重新分布
跨节点分布
分布机制
节点管理:
动态添加和移除节点
自动重新平衡
工作负载分配
资源优化
数据流:
节点间通信协议
高效的数据传输
带宽优化
延迟管理
性能优化
数据访问优化
缓存:
块级缓存管理
常访问数据优化
缓存一致性维护
性能加速
I/O 路径:
优化的读写路径
最少跳数路由
直接块访问
降低延迟
效率特性
去重:
块级重复数据删除
基于哈希的标识
空间效率
性能影响管理
系统弹性
容错性
节点故障:
自动故障检测
立即故障切换
维持数据可访问性
启动恢复
网络问题:
路径冗余
选择替代路径
通信可靠性
性能维持
数据完整性
块验证:
持续完整性检查
哈希验证
损坏检测
自动启动修复
一致性维护:
事务一致性
数据一致性
版本控制
同步管理
扩展考虑事项
横向扩展(扩展规模)
添加节点:
无缝集成新节点
为实现冗余,每个集群至少需要两个节点
新节点必须匹配现有集群配置:
处理器类型
内存配置
物理磁盘驱动器配置
保持 N+1 冗余以实现高可用性
自动数据重新分布
性能优化
容量扩展
集群扩展:
线性可扩展性
如果没有匹配的节点,可选择创建新集群
每个新集群至少需要两个匹配节点
资源优化
性能维持
均衡分布
纵向扩展(扩容)
资源增强:
存储容量增加:
要求在所有集群节点上增加相同数量的驱动器
保持均衡的存储分布
内存扩展:
关机前需要先进入维护模式
确保工作负载平稳迁移
性能提升
能力扩展
效率优化
最后更新于
这有帮助吗?