文章目录存储技术基础一、存储基础1. 什么是存储2. 存储架构发展历程二、主流硬盘类型与指标1. 四类硬盘对比2. 硬盘关键指标3. 性能数值对比重点记忆三、三种存储组网重点1. DAS直连附加存储2. NAS网络附加存储3. SAN存储区域网络FC-SAN光纤 SANIP-SANiSCSI SAN4. 三种组网总结对比必背四、存储形态集中式 vs 分布式五、三种存储业务类型重点六、RAID 技术核心重点1. RAID 基本概念2. 数据组织形式3. 两种数据保护方式4. 常见 RAID 级别对比必背5. 热备与重构6. 华为 RAID 2.0块级虚拟化七、存储协议重点1. SCSI2. iSCSIIP-SAN 的核心协议3. FC 与 TCP/IP 融合协议协议栈封装速记八、必背缩略语九、考点速记存储技术基础一、存储基础1. 什么是存储在计算机或电子设备上存储和管理数字信息的过程包括物理设备硬盘/SSD和虚拟存储系统云存储目标是可靠、安全地存取数据。2. 存储架构发展历程阶段年代形态说明传统存储1950s硬盘在服务器内部槽位少、容量小、单盘可靠性差、数据分散外挂存储1980sJBOD → 磁盘阵列JBOD 纯扩容阵列控制器带 RAID 大 Cache提性能和安全性存储网络1990sNAS / SAN存储与服务器分离网络化共享本世纪现在分布式存储、云存储多节点组成逻辑存储池弹性扩展、多租户二、主流硬盘类型与指标1. 四类硬盘对比对比项SATASASNL-SASSSD转速7,20010K/15K7,200无机械结构容量1/2/3T0.6/0.9T2/3/4T0.6~1.6TMTBF120万h160万h120万h200万h年故障率~2%2%~2%最低定位大容量廉价企业级高性能兼容 SATASAS 接口的企业级 SATA用于分级存储闪存盘性能最强2. 硬盘关键指标容量、转速机械盘、平均访问时间、数据传输率IOPS每秒读写次数随机小 IO 能力4K 随机写带宽顺序读写吞吐128K 顺序读两者都是越高越好3. 性能数值对比重点记忆硬盘类型IOPS4K随机写带宽128K顺序读SATA330200 MB/sSAS 10K350195 MB/sSAS 15K450290 MB/sSATA SSD3万~6万540 MB/sSAS SSD15.5万1000 MB/sNVMe SSD30万3500 MB/s结论机械盘 IOPS 只有几百SSD 是几万到几十万差距上千倍。三、三种存储组网重点1. DAS直连附加存储Direct Attached Storage70年代诞生最早最简单的架构连接方式SCSI / SAS / FC 线缆直连服务器速率3/6/12 Gbit/s数据类型块级缺点难管理、扩展性有限、存储空间利用率不高2. NAS网络附加存储Network Attached Storage90年代初为解决数据共享而生通过**以太网IP 网络**连接多台服务器共享后端存储协议CIFSWindows、NFSLinux/Unix支持同一文件并发读写文件系统在后端存储设备上数据类型文件级优点成本低、易安装缺点性能较低3. SAN存储区域网络通过专用高速网络把存储设备和服务器连起来的专用存储系统划分为多个LUN给前端主机数据类型为块级。FC-SAN光纤 SAN90年代中后期解决 DAS 扩展性差问题可连上百台服务器连接FC 光纤 专用 FC 交换机走 FC 协议栈速率2/4/8 Gbit/s优点高性能、高扩展缺点昂贵、配置复杂、兼容性问题IP-SANiSCSI SAN2001年诞生解决 FC-SAN价格贵、管理难的门槛连接普通以太网 以太网交换机走 iSCSI 协议速率1/10 Gbit/s优点复用成熟 IP 网络成本低、易管理缺点性能相对低4. 三种组网总结对比必背对比项DASNASFC-SANIP-SAN传输类型SCSI/FC/SAS 直连IP以太网FC光纤IP以太网数据类型块级文件级块级块级交换设备无以太网交换机FC 交换机以太网交换机典型应用任何场景文件服务器、文件共享数据库等高性能场景视频监控、中小数据库优点简单、兼容性好成本低、易安装、利于共享高性能、高可用、高扩展成本低、扩展性好缺点扩展性差性能较低昂贵、配置复杂性能较低四、存储形态集中式 vs 分布式对比项集中式存储分布式存储结构集中在一套系统可能几个机柜含 SAN/NAS数据分散在多台独立服务器上特点部署结构简单无需考虑多节点协作多节点分担负载易扩展可靠性/可用性/存取效率高技术分类SANFC-SAN/IP-SAN、NAS软件把物理资源组织成逻辑存储池适用企业级传统业务高扩展需求金融数据库等高性能场景也在用五、三种存储业务类型重点类型块存储文件存储对象存储协议iSCSI / FCNFS / CIFSHTTP / REST / S3访问方式直接访问开销最小、效率最高通过文件系统易与应用对接Key 元数据 数据结构扁平扩展性成本高、扩展困难有一定扩展性限制较多近乎无限扩容自管理、跨地域典型场景企业数据库Oracle 等企业内部应用整合、文件共享互联网服务、归档、备份六、RAID 技术核心重点1. RAID 基本概念RAIDRedundant Array of Independent Disks独立硬盘冗余阵列。把多块物理盘按不同方式组合成一个逻辑盘提高读写性能和/或数据安全性。2. 数据组织形式条带化把硬盘空间按设定大小切成多个条带数据按条带分块写入多块盘并行读写提性能条带 strip单盘上一个或多个连续扇区是分条的元素分条 stripe多块盘上相同编号的条带构成一个分条3. 两种数据保护方式方式原理镜像 Mirroring在另一块冗余盘上保存数据副本空间换安全奇偶校验 XOR异或运算相同为 0、相异为 10⊕001⊕100⊕11坏一块盘可用剩余数据校验反推恢复4. 常见 RAID 级别对比必背级别组合方式冗余能力磁盘利用率优缺点RAID 0数据条带化无校验无镜像无坏1盘全丢100%性能最好最不安全至少2盘RAID 1数据镜像无校验可坏1盘50%可靠性高容量浪费一半至少2盘RAID 3条带化校验放专用校验盘可坏1盘(n-1)/n专用校验盘易成瓶颈RAID 5条带化校验分布式存放在各盘可坏1盘(n-1)/n性能与安全均衡最常用至少3盘RAID 6双校验DP横向 P 斜向 DP可坏2盘(n-2)/n安全性最高至少4盘RAID 10先做 RAID 1 镜像再做 RAID 0 条带每组镜像可坏1盘50%性能安全都强成本高至少4盘RAID 01先条带后镜像与10顺序相反同上50%可靠性略低于 RAID 10RAID 50先 RAID 5 再 RAID 0—更高提升 RAID 5 性能RAID 6 DPDouble Parity横向校验 P 同行数据 XOR斜向校验 DP 斜向数据 XOR允许同时坏两块盘。5. 热备与重构热备 Hot SpareRAID 组中某盘失效备用盘自动顶替不影响系统运行全局热备一块备盘给所有 RAID 组共享专用热备备盘只给指定某一个 RAID 组重构换上新盘后通过 XOR 校验数据重建故障盘内容痛点机械盘容量越大重构时间越长重构期间再坏一块盘就会丢数据6. 华为 RAID 2.0块级虚拟化RAID 2.0解决传统 RAID 重构慢、重构窗口内再坏盘丢数据的风险RAID 2.0把硬盘切分成几十 KB 粒度的细颗粒块级虚拟化 Virtual for Disk再在上层组成存储池Virtual for Pool两层虚拟化底层块虚拟化 上层资源池配合 Smart 效率软件管理优势数据均衡分布到每块盘负载均衡重构速度大幅提升多盘并行重构七、存储协议重点1. SCSISmall Computer System Interface小型计算机系统接口用于主机与外部设备连接C/S 模型主机适配器Initiator通过 SCSI 总线连接磁盘阵列Target每设备有 SCSI ID下分多个 LUN2. iSCSIIP-SAN 的核心协议Internet SCSI把SCSI 命令和块数据封装进 TCP 报文在 IP 网络传输意义用成熟廉价的 IP 网络延伸 SAN两个角色Initiator发起端SCSI 层生成 CDB 命令描述符 → iSCSI 层封装成 PDU → 经 IP 网络发出Target目标端收到 PDU → 还原 CDB 交给 SCSI 层解释执行3. FC 与 TCP/IP 融合协议FC-SAN 和 IP-SAN 长期并存互补融合方式有iFCP 和 FCoE协议全称原理定位iFCPInternet Fibre Channel Protocol网关到网关协议在 TCP/IP 网络中为 FC 设备提供通信实现端到端 IP 连接协议层位于 FC 与 TCP/IP 之间FC 设备跨 IP 网络互联用网关FCoEFibre Channel over Ethernet把FC 帧封装进以太网帧一根线缆同时跑 LAN 和 FC SAN 流量网络融合减少设备/线缆/供电制冷降低管理负担区别iFCP 靠网关把 FC 流量路由到 IP 网络可跨三层FCoE 是在同一以太网上融合 LAN 与 SAN 流量。协议栈封装速记iSCSISCSI → iSCSI → TCP → IPiFCPSCSI → FC → iFCP → TCP → IPFCoEFC-2 及以上层 → FCoE → MAC → PHY封装到以太网帧八、必背缩略语缩写全称中文DASDirect Attached Storage直连附加存储NASNetwork Attached Storage网络附加存储SANStorage Area Networks存储区域网络FCFiber Channel光纤通道SCSISmall Computer System Interface小型计算机系统接口iSCSIInternet SCSI网络小型计算机系统接口FCoEFibre Channel over Ethernet以太网光纤通道iFCPInternet Fibre Channel ProtocolInternet 光纤信道协议RAIDRedundant Array of Independent Disks独立硬盘冗余阵列IOPSInput/Output Per Second每秒读写次数MTBFMean Time Between Failure平均无故障工作时间LUNLogical Unit Number逻辑单元号JBODJust a Bunch Of Disks简单磁盘捆绑九、考点速记存储架构演进本地盘 → JBOD → 磁盘阵列 → NAS/SAN → 分布式/云存储机械盘 IOPS 仅几百NVMe SSD 可达 30 万 IOPS / 3500MB/sDAS 块级直连NAS 文件级NFS/CIFS走以太网SAN 块级FC-SAN 用 FC 交换机和光纤IP-SAN 用以太网交换机iSCSI便宜块存储数据库效率最高、文件存储共享、对象存储互联网/归档无限扩展RAID 0 条带无冗余RAID 1 镜像利用率 50%RAID 5 分布式校验可坏1盘至少3盘RAID 6 双校验可坏2盘至少4盘RAID 10 先镜像后条带热备分全局式/专用式重构靠 XOR 异或校验华为 RAID 2.0 块级虚拟化几十KB粒度 存储池负载均衡、快速重构iSCSI SCSI 封装到 TCP/IPFCoE FC 封装到以太网网络融合iFCP 网关到网关的 IP 化 FC
文章目录存储技术基础一、存储基础1. 什么是存储2. 存储架构发展历程二、主流硬盘类型与指标1. 四类硬盘对比2. 硬盘关键指标3. 性能数值对比重点记忆三、三种存储组网重点1. DAS直连附加存储2. NAS网络附加存储3. SAN存储区域网络FC-SAN光纤 SANIP-SANiSCSI SAN4. 三种组网总结对比必背四、存储形态集中式 vs 分布式五、三种存储业务类型重点六、RAID 技术核心重点1. RAID 基本概念2. 数据组织形式3. 两种数据保护方式4. 常见 RAID 级别对比必背5. 热备与重构6. 华为 RAID 2.0块级虚拟化七、存储协议重点1. SCSI2. iSCSIIP-SAN 的核心协议3. FC 与 TCP/IP 融合协议协议栈封装速记八、必背缩略语九、考点速记存储技术基础一、存储基础1. 什么是存储在计算机或电子设备上存储和管理数字信息的过程包括物理设备硬盘/SSD和虚拟存储系统云存储目标是可靠、安全地存取数据。2. 存储架构发展历程阶段年代形态说明传统存储1950s硬盘在服务器内部槽位少、容量小、单盘可靠性差、数据分散外挂存储1980sJBOD → 磁盘阵列JBOD 纯扩容阵列控制器带 RAID 大 Cache提性能和安全性存储网络1990sNAS / SAN存储与服务器分离网络化共享本世纪现在分布式存储、云存储多节点组成逻辑存储池弹性扩展、多租户二、主流硬盘类型与指标1. 四类硬盘对比对比项SATASASNL-SASSSD转速7,20010K/15K7,200无机械结构容量1/2/3T0.6/0.9T2/3/4T0.6~1.6TMTBF120万h160万h120万h200万h年故障率~2%2%~2%最低定位大容量廉价企业级高性能兼容 SATASAS 接口的企业级 SATA用于分级存储闪存盘性能最强2. 硬盘关键指标容量、转速机械盘、平均访问时间、数据传输率IOPS每秒读写次数随机小 IO 能力4K 随机写带宽顺序读写吞吐128K 顺序读两者都是越高越好3. 性能数值对比重点记忆硬盘类型IOPS4K随机写带宽128K顺序读SATA330200 MB/sSAS 10K350195 MB/sSAS 15K450290 MB/sSATA SSD3万~6万540 MB/sSAS SSD15.5万1000 MB/sNVMe SSD30万3500 MB/s结论机械盘 IOPS 只有几百SSD 是几万到几十万差距上千倍。三、三种存储组网重点1. DAS直连附加存储Direct Attached Storage70年代诞生最早最简单的架构连接方式SCSI / SAS / FC 线缆直连服务器速率3/6/12 Gbit/s数据类型块级缺点难管理、扩展性有限、存储空间利用率不高2. NAS网络附加存储Network Attached Storage90年代初为解决数据共享而生通过**以太网IP 网络**连接多台服务器共享后端存储协议CIFSWindows、NFSLinux/Unix支持同一文件并发读写文件系统在后端存储设备上数据类型文件级优点成本低、易安装缺点性能较低3. SAN存储区域网络通过专用高速网络把存储设备和服务器连起来的专用存储系统划分为多个LUN给前端主机数据类型为块级。FC-SAN光纤 SAN90年代中后期解决 DAS 扩展性差问题可连上百台服务器连接FC 光纤 专用 FC 交换机走 FC 协议栈速率2/4/8 Gbit/s优点高性能、高扩展缺点昂贵、配置复杂、兼容性问题IP-SANiSCSI SAN2001年诞生解决 FC-SAN价格贵、管理难的门槛连接普通以太网 以太网交换机走 iSCSI 协议速率1/10 Gbit/s优点复用成熟 IP 网络成本低、易管理缺点性能相对低4. 三种组网总结对比必背对比项DASNASFC-SANIP-SAN传输类型SCSI/FC/SAS 直连IP以太网FC光纤IP以太网数据类型块级文件级块级块级交换设备无以太网交换机FC 交换机以太网交换机典型应用任何场景文件服务器、文件共享数据库等高性能场景视频监控、中小数据库优点简单、兼容性好成本低、易安装、利于共享高性能、高可用、高扩展成本低、扩展性好缺点扩展性差性能较低昂贵、配置复杂性能较低四、存储形态集中式 vs 分布式对比项集中式存储分布式存储结构集中在一套系统可能几个机柜含 SAN/NAS数据分散在多台独立服务器上特点部署结构简单无需考虑多节点协作多节点分担负载易扩展可靠性/可用性/存取效率高技术分类SANFC-SAN/IP-SAN、NAS软件把物理资源组织成逻辑存储池适用企业级传统业务高扩展需求金融数据库等高性能场景也在用五、三种存储业务类型重点类型块存储文件存储对象存储协议iSCSI / FCNFS / CIFSHTTP / REST / S3访问方式直接访问开销最小、效率最高通过文件系统易与应用对接Key 元数据 数据结构扁平扩展性成本高、扩展困难有一定扩展性限制较多近乎无限扩容自管理、跨地域典型场景企业数据库Oracle 等企业内部应用整合、文件共享互联网服务、归档、备份六、RAID 技术核心重点1. RAID 基本概念RAIDRedundant Array of Independent Disks独立硬盘冗余阵列。把多块物理盘按不同方式组合成一个逻辑盘提高读写性能和/或数据安全性。2. 数据组织形式条带化把硬盘空间按设定大小切成多个条带数据按条带分块写入多块盘并行读写提性能条带 strip单盘上一个或多个连续扇区是分条的元素分条 stripe多块盘上相同编号的条带构成一个分条3. 两种数据保护方式方式原理镜像 Mirroring在另一块冗余盘上保存数据副本空间换安全奇偶校验 XOR异或运算相同为 0、相异为 10⊕001⊕100⊕11坏一块盘可用剩余数据校验反推恢复4. 常见 RAID 级别对比必背级别组合方式冗余能力磁盘利用率优缺点RAID 0数据条带化无校验无镜像无坏1盘全丢100%性能最好最不安全至少2盘RAID 1数据镜像无校验可坏1盘50%可靠性高容量浪费一半至少2盘RAID 3条带化校验放专用校验盘可坏1盘(n-1)/n专用校验盘易成瓶颈RAID 5条带化校验分布式存放在各盘可坏1盘(n-1)/n性能与安全均衡最常用至少3盘RAID 6双校验DP横向 P 斜向 DP可坏2盘(n-2)/n安全性最高至少4盘RAID 10先做 RAID 1 镜像再做 RAID 0 条带每组镜像可坏1盘50%性能安全都强成本高至少4盘RAID 01先条带后镜像与10顺序相反同上50%可靠性略低于 RAID 10RAID 50先 RAID 5 再 RAID 0—更高提升 RAID 5 性能RAID 6 DPDouble Parity横向校验 P 同行数据 XOR斜向校验 DP 斜向数据 XOR允许同时坏两块盘。5. 热备与重构热备 Hot SpareRAID 组中某盘失效备用盘自动顶替不影响系统运行全局热备一块备盘给所有 RAID 组共享专用热备备盘只给指定某一个 RAID 组重构换上新盘后通过 XOR 校验数据重建故障盘内容痛点机械盘容量越大重构时间越长重构期间再坏一块盘就会丢数据6. 华为 RAID 2.0块级虚拟化RAID 2.0解决传统 RAID 重构慢、重构窗口内再坏盘丢数据的风险RAID 2.0把硬盘切分成几十 KB 粒度的细颗粒块级虚拟化 Virtual for Disk再在上层组成存储池Virtual for Pool两层虚拟化底层块虚拟化 上层资源池配合 Smart 效率软件管理优势数据均衡分布到每块盘负载均衡重构速度大幅提升多盘并行重构七、存储协议重点1. SCSISmall Computer System Interface小型计算机系统接口用于主机与外部设备连接C/S 模型主机适配器Initiator通过 SCSI 总线连接磁盘阵列Target每设备有 SCSI ID下分多个 LUN2. iSCSIIP-SAN 的核心协议Internet SCSI把SCSI 命令和块数据封装进 TCP 报文在 IP 网络传输意义用成熟廉价的 IP 网络延伸 SAN两个角色Initiator发起端SCSI 层生成 CDB 命令描述符 → iSCSI 层封装成 PDU → 经 IP 网络发出Target目标端收到 PDU → 还原 CDB 交给 SCSI 层解释执行3. FC 与 TCP/IP 融合协议FC-SAN 和 IP-SAN 长期并存互补融合方式有iFCP 和 FCoE协议全称原理定位iFCPInternet Fibre Channel Protocol网关到网关协议在 TCP/IP 网络中为 FC 设备提供通信实现端到端 IP 连接协议层位于 FC 与 TCP/IP 之间FC 设备跨 IP 网络互联用网关FCoEFibre Channel over Ethernet把FC 帧封装进以太网帧一根线缆同时跑 LAN 和 FC SAN 流量网络融合减少设备/线缆/供电制冷降低管理负担区别iFCP 靠网关把 FC 流量路由到 IP 网络可跨三层FCoE 是在同一以太网上融合 LAN 与 SAN 流量。协议栈封装速记iSCSISCSI → iSCSI → TCP → IPiFCPSCSI → FC → iFCP → TCP → IPFCoEFC-2 及以上层 → FCoE → MAC → PHY封装到以太网帧八、必背缩略语缩写全称中文DASDirect Attached Storage直连附加存储NASNetwork Attached Storage网络附加存储SANStorage Area Networks存储区域网络FCFiber Channel光纤通道SCSISmall Computer System Interface小型计算机系统接口iSCSIInternet SCSI网络小型计算机系统接口FCoEFibre Channel over Ethernet以太网光纤通道iFCPInternet Fibre Channel ProtocolInternet 光纤信道协议RAIDRedundant Array of Independent Disks独立硬盘冗余阵列IOPSInput/Output Per Second每秒读写次数MTBFMean Time Between Failure平均无故障工作时间LUNLogical Unit Number逻辑单元号JBODJust a Bunch Of Disks简单磁盘捆绑九、考点速记存储架构演进本地盘 → JBOD → 磁盘阵列 → NAS/SAN → 分布式/云存储机械盘 IOPS 仅几百NVMe SSD 可达 30 万 IOPS / 3500MB/sDAS 块级直连NAS 文件级NFS/CIFS走以太网SAN 块级FC-SAN 用 FC 交换机和光纤IP-SAN 用以太网交换机iSCSI便宜块存储数据库效率最高、文件存储共享、对象存储互联网/归档无限扩展RAID 0 条带无冗余RAID 1 镜像利用率 50%RAID 5 分布式校验可坏1盘至少3盘RAID 6 双校验可坏2盘至少4盘RAID 10 先镜像后条带热备分全局式/专用式重构靠 XOR 异或校验华为 RAID 2.0 块级虚拟化几十KB粒度 存储池负载均衡、快速重构iSCSI SCSI 封装到 TCP/IPFCoE FC 封装到以太网网络融合iFCP 网关到网关的 IP 化 FC
