DSSD的研发车间(转)

白丁

DSSD的研发车间(转) [复制链接]

转自http://mp.weixin.qq.com/s?__biz= ... NTYzMw==&scene=6#rd

我们来看看一个老外对神秘的[url=]DSSD[/url]内部的参观，可以知道他们在干什么。

首先，来猜一下什么是[url=]DSSD[/url]的产品：
1. 并不是传统的磁盘阵列，因为是用在Server上面的；
2. 存储密度会非常高。性能和密度都会超出你的想象，因为它的目标是要当一个大内存使用，能跑内存数据库等。
3. 延迟会非常低。大概几十微秒，要知道NAND Flash MLC的写时间是毫秒级，读是几百微秒，所以DSSD肯定要用DRAM或者SLC做Cache层。

再来猜一下DSSD的用途：
1. 需要高频读写的数据存储。基于分布式文件系统，分布式意味着每个server都有数据存储，而不是存储阵列一样集中。
2. 需要高频读写的数据，同时有key-value存储，高性能计算，尤其是数据密集的高性能计算。
说白了，就是对大内存的要求。

聊完技术，咱们就开始DSSD之旅了。
DSSD位于加州的Menlo Park，反正就是大牛们扎堆的硅谷了。

一栋老房子，新装修了一下。记者大清早过去，大家还忙忙碌碌的。大厅里面好多新员工，软件工程师、客户支持之类。今年五月的时候有160多名员工，而且还在快速增长。毕竟被收购了，有的是银子发工钱。

下面是个DSSD的早期原型机，O(∩_∩)O哈哈~ 很山寨，风扇，电源，网线，板子上的飞线，下面的板子上好像是4个插槽，紫色的应该是PCIe线缆，所以估计是PCIe接口，密集的PCIe接口确实很恐怖，最终会制造出怎样高的带宽呢？拭目以待~

下面这台主机里面插了8块PCIe接口卡，从服务器的两个散热盒看有点像是NUMA架构的机器。一条线是PCIe Gen 3 x 4 Lane，8条的速度将近32GB/s。

PCIe接口卡的原型，它的作用就是把PCIe线缆接口转为主板上的PCIe插槽接口。

为了达到这么高的带宽和延迟，DSSD的Flash用了很多模组，如下图，你能想象里面有512个Flash Die（几个Die可以封装成一个芯片）并行工作吗？要知道一般的消费级SSD里面只有4到8个数据通道，DSSD这个模组里面估计至少有几十个通道。

打开看看里面的电路板，有很多Flash，SRAM作为Cache（没用DRAM，好奢侈），还有DSSD自己的控制器，外壳上涂了散热胶。整体功耗45-60W，其实还挺高的。从右往左详细看看：
1. 最右边是接口，像是PCIe。
2. SRAM做Cache。
3. 控制器芯片，在背面。
4. 一大波Flash。
5. 有点像是锂电池，估计是来做掉电保护的。

来看看DSSD的整体，它是个5U的机箱，功耗是2000W，所以散热很重要。可以看到上下都有一堆风扇，这要是都转起来，声音可是震耳欲聋啊。

散热的设计其实是很复杂的，有点像是混沌，一个很小的因素可能导致很大的不可预期的结果。DSSD的团队非常专业，用3D打印来制造原型，做实验并不断修改。下图是他们的Makerbots 3D打印机。




会议室旁边就是测试机房。

这台5U的DSSD连到了48个主机上，里面每个白色的就是1个之前看到的Flash模组，可见容量和性能有多大。我数了一下，有36块！！可以想象最终的性能和容量了。中间那个白色的是DSSD，上下都是测试的主机。




看看后面，可怕的PCIe线缆。。。。每台主机都连了冗余的PCIe线缆。下图是DSSD的背后，一堆PCIe线。





其实这栋楼以前就是Sun当年风光无限的时候持有的，所以DSSD的很多员工可能又回到了当年的地盘。



2013年做的PCIe Switch原型板。



再来回顾一下DSSD的软硬件特点：

1． 硬件：接近DRAM的延迟，超高存储密度，高IOPS，高带宽；

2. 软件：支持Key-Value存储 API，MemcacheD，交易型分布式文件系统。

michael_llh

不错，谢谢分享！

cardin6

第一张图不是makebot2么？

cardin6

然后看到下面还有SLS的光固化打印机。。。恩。。。FDM和SLS都全了  环境还不错!

cardin6

我的下一台FDM机器就是1：1仿制Makebot2这家伙   国内没授权  只有进口  据说精度相当高  于是1：1复制一台

azhiking

绝对土豪的玩法