百度做的ssd

白丁

百度做的ssd [复制链接]

转自http://mp.weixin.qq.com/s?__biz= ... NTYzMw==&scene=6#rd

在机械硬盘时代，硬盘的制造技术掌握在少数几家大公司手里，用户只能购买。但是进入SSD时代之后，硬盘的制造门槛没有那么高了，简单来说，SSD就是买Flash芯片和控制芯片组装起来就可以了，所以国内很多有技术实力的公司就想自己开发SSD，例如华为、百度等。

BAT以及Google，Facebook等有着数量庞大的服务器，每家都是10万台级别，这注定了他们不能从存储厂商购买昂贵的服务器，只能自己研发廉价的服务器和存储设备来建设数据中心。

百度的欧阳剑团队在ASPLOS '14上发表了一篇文章，介绍他们研发的软件定义闪存SDF。ASPLOS在计算机体系结构领域是Rank 1的会议，所以技术能力还是得到了国际同行的认可。CS国际会议排名见链接：http://www.ntu.edu.sg/home/assourav/crank.htm 。下面我们来介绍一下这片Paper。

相比市场上销售的SSD，SDF主要的特点有：

1. 没有垃圾回收。SDF的使用者使用Block大小的整数倍为单位来写数据 （8 MB），所以每个Block里面不会有垃圾，或者整个都是垃圾，写之前直接擦除就可以了。这样的好处是：

A. SSD内部不用做垃圾回收，读写带宽得到提高；

B. 同时也不需要预留Over-Provisioning的空间，释放出20%的额外空间；

C. 没有内部搬移数据产生的写操作，Flash没有了写放大，寿命延长。

2. 没有RAID。SSD内部其实是Flash阵列，所以为了数据安全性，很多企业级SSD会用Flash组成RAID组，用一块或几块Flash保存RAID数据。但是互联网公司的数据一般都有3个备份，所以不担心SSD内部数据丢失。RAID是没有必要的。

3. FPGA做为控制芯片，功能很少：ECC，坏块管理，地址转换，Dynamic Wear Leveling。Virtex-5实现PCIe接口和DMA，Spartan是Flash控制芯片。

4. SSD内部每个通道都向用户开放，由PC选择写哪个通道。

5. 软件接口层非常简单，省略了文件系统、Block设备、IO调度、SATA协议等，用户直接通过IOCTRL来发同步的写命令到PCIe Driver。软件延迟从12us，缩减到2-4us，就是花在PCIe中断处理上。

SDF内部保存的数据就是类似于Google BigTable的CCDB，8MB大小.

白丁

文章中所说的SDF特点很明显是block mapping，这也是早期的U盘采用的算法。
A. SSD内部不用做垃圾回收，读写带宽得到提高；
这个特点我认为也是错误的，block mapping虽然不用做垃圾回收，是因为在写入的时候就做了相同的操作，连续写性能没有什么问题，但是随机写入慢到爆

C. 没有内部搬移数据产生的写操作，Flash没有了写放大，寿命延长。
这一点我也是不赞同的，文章着眼于垃圾回收，认为没有垃圾回收就没有数据搬移，不过这个搬移是在写入的时候进行的，block mapping的写入放大较hybird mapping和page mapping都要大（当然这也跟使用环境输入case有关，顺序写入，写入放大最小为1）.


单单从算法上讲这篇文章讲的是完全错误的，但从使用环境来说勉强可以站住脚，百度的使用环境都是连续写入（因为有大容量缓存），一般的企业级应用很多都不关心随机性能。

lcofjp

牛B。。

qwqwqw2088

百度做的ssd，想干啥，，

白丁

qwqwqw2088 发表于 2016-2-14 20:57
百度做的ssd，想干啥，，

它自己用呗，大的互联网公司服务器都自己做，文件系统什么的都是自己搞的

ljj3166

不懂帮顶

白丁

ljj3166 发表于 2016-2-14 21:23
不懂帮顶

顶顶更健康

cardin6

数了一下 22个FLASH闪存。。。求解硬盘容量。。。

白丁

cardin6 发表于 2016-2-14 21:48
数了一下 22个FLASH闪存。。。求解硬盘容量。。。

背面还不知道有没有，况且现在单die 4/8/16/32/64GB甚至128GB都有，不好算啊

cardin6

白丁 发表于 2016-2-14 22:34
背面还不知道有没有，况且现在单die 4/8/16/32/64GB甚至128GB都有，不好算啊

如果背面也有  就22*2  按照每颗最大128G来算 。。。6T的SSD硬盘。。。价格真是不菲啊。。。

白丁

cardin6 发表于 2016-2-15 00:26
如果背面也有  就22*2  按照每颗最大128G来算 。。。6T的SSD硬盘。。。价格真是不菲啊。。。

肯定没这么大的

DavidZH

目前市场上有没有相关的可以用的产品呢？？？

白丁

DavidZH 发表于 2016-2-15 09:06
目前市场上有没有相关的可以用的产品呢？？？

当然有，各种接口各种容量

kkforyou

关注。。。欧阳剑啊。。。

nm112

這是在搞硬體獨戰還是技術實驗阿....

白丁

kkforyou 发表于 2016-2-19 22:32
关注。。。欧阳剑啊。。。

什么欧阳剑？