【存储技术基础】概述

0x00 Intro

对于场景制定存储方案:

  • 存储结构
  • 存储大小
  • 可靠性和容错
  • 文件访问类型,读/写频率

要学习硬件的选择和文件系统设计

0x01 现状

存储的挑战

数据量激增

存储是什么

分层的存储架构

L0-L1-L2-DRAM-Disk

存储的特性

可靠性:

  • 多副本
  • 纠删码

一致性:

  • 原子+持久化

数据保护 容灾和备份:

  • 解决单点故障

0x02 存储历史与发展

硬件上的发展

1956–HDD

1984–Flash Memory 早期用于嵌入式

2010s–Persistent Memory 3D-Point Intel

SSD NAND Flash:

SLC,MLC,TLC,QLC存储单元中电平的等级

对比HDD和SSD:

  • 对于NAND,需要先擦出,再写

  • NAND Flash有擦除,HDD只能覆盖写

  • SSD多个颗粒可以并行I/O,总体上速度快

软件上的发展

网络存储 远程挂载目录NAS

分布式文件系统GFS,Hadoop HDFS

键值存储Key-Value

云存储 数据存在远端,商业化,软件协作Office

Assignment

有一个服务器集群(4台),针对I/O 500测试,需要考虑哪些问题?

0%