flyinweb's blog - 硬件技术资源

SAS与SATA

shanyiwan@live.com() — Tue, 06 Dec 2011 06:06:46 GMT

一、串行式SCSI（SAS：Serial Attached SCSI）

1、串行式SCSI（SAS：Serial Attached SCSI）是一种电脑集线的技术，其功能主要是作为周边零件的数据传输，例如：硬盘、CD-ROM等设备而设计的界面。串行式SCSI 由并行SCSI物理存储接口演化而来，是由ANSI INCITS T10技术委员会（T10 committee）开发及维护的新的存储接口标准。与并行方式相比，串行方式能提供更快速的通信传输速度以及更简易的配置。此外SAS并支持与串行式ATA（SATA）设备兼容，且两者可以使用相类似的电缆。

SAS是点对点（point-to-point）连接，并允许多个端口集中于单个控制器上，其可以自带于主板（mother board）当中；也可另外添加。该技术创建在强大的并行SCSI通信技术基础上。SAS是采用SATA兼容的电缆线采取点对点连接方式，从而在计算机系统中不需要创建雏菊链接（daisy-chaining）方式便可简单地实现线缆安装。

第一代SAS为数组中的每个驱动器提供 1.5 Gbps（150 MBps）的传输速率。
第二代SAS为数组中的每个驱动器提供 3.0 Gbps（300 MBps）的传输速率。
第三代SAS为数组中的每个驱动器提供 6.0 Gbps（600 MBps）的传输速率。

2、接口

SAS接口比普通SCSI接口小很多，并支持2.5英寸的硬盘。 SAS采取直接的点对点串行式传输方式，传输速率最高可达3Gbps，目前计划于2012年左右达到12Gbps。

SAS的接口接头有很多形式：

图片	代号	别名	内接/外接	针脚数量	存储设备数量	备注
	SFF 8482	内接	1	与SATA兼容的标准接口
	SFF 8484	内接	4	高密度内接连接器
SSF 8485	Routes data plus "sideband-signals" (Like LEDS) through serial link
	SFF 8470	Infiniband connector	外接	32	4	高密度外接连接器（亦可内接使用）
	SFF 8087	Internal Mini-SAS	内接	4	Molex iPASS reduced width internal 4x connector with future 10 Gbit/s support
	SFF 8088	External Mini-SAS	外接	32	4	Molex iPASS reduced width external 4x connector with future 10 Gbit/s support

The SFF 8482 connector allows for SATA drives to connect to a SAS backplane，which obviates the need to install an additional SATA controller just to attach a DVD-writer, for example. Conversely, SAS drives are not usable on a SATA bus and have their physical connector keyed to prevent any plugging into a SATA backplane.

3、技术细节

SAS由3种类型协议组成，根据连接的不同设备使用相应的协议进行数据传输。

串行SCSI协议 (SSP) — 用于传输SCSI命令。
SATA通道协议 (STP) — 用于传输SATA数据。
SCSI管理协议 (SMP) — 用于对SAS设备的维护和管理。

二、Serial ATA（SATA, Serial Advanced Technology Attachment）

1、Serial ATA（SATA, Serial Advanced Technology Attachment），亦称串行ATA，是串行SCSI（SAS：Serial Attached SCSI）的孪生兄弟，两者的排线兼容，SATA硬盘可接上SAS接口。它是一种电脑总线，主要功能是用作主板和大量存储设备（如硬盘及光盘驱动器）之间的数据传输之用。

2000年11月由“Serial ATA Working Group”团体所制定，SATA是已经完全取代旧式PATA（Parallel ATA或称IDE）的新型硬盘接口，因采用串行方式传输数据而得名。在数据传输上这一方面，SATA的速度比以往更加快捷，并支持热插拔，使电脑运作时可以插上或拔除硬件。另一方面，SATA总线使用了嵌入式时钟频率信号，具备了比以往更强的纠错能力，能对传输指令（不仅是数据）进行检查，如果发现错误会自动矫正，提高了数据传输的可靠性。不过，SATA和以往最明显的分别，是用上了较细的排线，有利机箱内部的空气流通，某程度上增加了整个平台的稳定性。

现时，SATA分别有SATA 1.5Gbit/s、SATA 3Gbit/s和SATA 6Gbit/s三种规格。

2、特色

1）带宽速度换算

所谓3Gb/s的算法，3000MHz的频率 x 每次发送一个数据 x 80%(8b/10b的编码) / 8 bits per byte = 300Mbytes/s，同理1.5Gb/s也是这样可算成150MB/s，也就是一般我们在买硬盘时，有时候会看到SATA 150MB/s / 300MB/s，有时候又会看到SATA 1.5Gb/s / 3Gb/s的缘故。

以USB 3.0而言，它拥有5Gbps的带宽，每次发送一个数据 x 80%(8b/10b的编码) / 8 bits per byte = 500Mbytes/s，所以USB 3.0的带宽比SATA 3.0的600MB/s 还来的小。

SATA版本	带宽	速度
SATA 3.0	6Gb/s	600MB
SATA 2.0	3Gb/s	300MB
SATA 1.0	1.5Gb/s	150MB

2）排线和电源线

Pin #	功能
1	Ground
2	A+ (发送)
3	A− (发送)
4	Ground
5	B− (接收)
6	B+ (接收)
7	Ground

SATA排线

传统的Parallel ATA使用单模信号放大系统“single-end-signal-amplified-system”。在这种系统中，噪声会随着正常信号一起传输、放大，不易被抑制；在高速时尤其严重，为了有效的减少噪声的干扰，我们只好使用高达5V的电压来传送正常信号，使大电压的正常信号盖过小电压的噪声信号。虽然大的电压可以有效的抑制噪声，但是大的电压同时也表示驱动电路的生产成本将因此上升，大电压更不利于高速传输系统的设计和制造，高达5V的传输电压限制追求高速和低成本的可能性。

和Parallel ATA相比，新的Serial ATA使用差动信号系统（differential-signal-amplified-system）。这种系统能有效的将噪声从正常信号中滤除，良好的噪声滤除能力使得SATA只要使用低电压操作即可，和Parallel ATA高达5V的传输电压相比，SATA只要0.5V(500mv) 的峰对峰值电压即可操作于更高的速度之上。比较正确的说法是：峰对峰值‘差模电压’。

和Parallel ATA的5V驱动电压相比，0.5V的SATA系统节省电力，其驱动IC的生产成本也较为便宜。

有种排线附有小金属片可以卡住插座，比较不会发生不小心将排线拔出的问题。

3）高级主机控制器接口

主条目：AHCI

SATA支持高级主机控制器接口（AHCI）功能，可让SATA存储设备激活高级SATA功能，例如NCQ及热插拔。

3、SATA 1.5Gb/s

SATA 1.5Gb/s为第一代SATA接口，坊间的非官方名称为SATA-1^[1]，传输速度为1.5Gbit/s。

4、SATA 3Gb/s

SATA 3Gb/s在2004年正式推出，坊间的非官方名称为SATA-2（SATA-II），符合ATA-7规范，传输速度可达3.0Gbit/s。这显示SATA的速度提升是以几何级数增长，这点和PATA的一级级算术级数增长是不同的。

SATA 3Gb/s比SATA 1.5Gb/s进步的地方在于：

1. 3.0Gb/s的高传输速度

2. 支持真正的SATA指令排序（NCQ）

3. SATA 3Gb/s数据线长度最多2m。 SATA 1.5Gb/s只是1m，PATA更短到50cm

4. 全新的围挡式接口更稳固。

5、SATA 6Gb/s

SATA 6Gb/s官方标志

SATA 6Gb/s 在2009年年5月26日SATA-IO 完成 SATA 3.0 最终规格发布，比上一代提升一倍速率至6Gb/s，此外增加多项新技术，包涵新增 NCQ 指令以改良传输技术，并减低传输时所需耗电量。

依据 Serial ATA Revison 3.0 规格白皮书，AHCI底下改善了(NCQ)串行指令NCQ 的指令数目、NCQ的指令优先权及算法SATA 3.0亦会增加，包括为实时性的资源提供优先处理，主要用于图像及音像传输方面。此外 SATA 3.0 同时会为正被系统处理中的资源作优先安排，大大提升了系统的运行效率。

为了降低耗电SATA 3.0 采用全新INCITS ATA8-ACS标准，不但可兼容旧有的 SATA 设备、改良传输信号技术，亦大幅减低了 SATA2.0传输时所需功耗。

针对笔记本电脑(NB)市场对体积的需求，SATA 3.0提供了较一般SATA2.0接口细小的LIF接口(Low Insertion Force Connector) ，专门针对 1.8 吋的存储设备，包括仅厚 7mm 光盘驱动器。

2011年7月18日 SATA-IO 公布了 SATA3.1 规格，3.1版带来了诸多特性，例如节电测量，TRIM性能提升和一些杂项调整。

3.1版带来了一个新的mini SATA接口，主要用于为移动计算设备增强互操作性，Zero-Power Optical Disk Drive (ODD)的发明减少了闲置光驱的耗电量，用新的电源管理策略降低了整个系统的电力需求。TRIM改进允许SATA固态硬盘在不影响性能的前提下自行修剪，改善了SSD的性能，同时还带来了让主机识别设备的硬件设备功能，提升了SATA的兼容性。

另一个值得注意的是SATA通用存储模块（USM）和热插拔SATA驱动器模块，它让SATA硬盘的热插拔机制更为成熟，目前希捷GoFlex部分型号的硬盘已经开始支持。

6、eSATA

eSATA 官方标志

External Serial ATA的略称，是为面向外接驱动器而制定的Serial ATA 1.0a的扩展规格。虽然规模比较小，但已经有相对应的产品在市面流通。

为了防止误接，eSATA的接口形状与SATA的接口形状是不一样的。
连接线的最大长度为2m。
支持热插拔。
传输速度可以达到现在主流的USB 2.0的传输速度的2倍以上。
提高接头的插拔耐用度。

eSATA与其他规格的比较

名称	带宽 (Mbit/s)	速度 (MB/s)	接线最大长度 (m)	电源供应	每频道最多可接设备
eSATA	3000	300	2 with eSATA HBA (1 with passive adapter)	否 ^[2]	1（15 with port multiplier）
串行SCSI	3000	375	8	否	4
SATA 6.0Gb/s	6000	600
SATA 3.0Gb/s	3000	300	2	否	1（15 with port multiplier）
SATA 1.5Gb/s	1500	150	1	否	1 per line
PATA 133	1064	133	0.46（18 英寸）	否	2
FireWire 3200	3144	393	100; alternate cables available for 100 m+	15 W, 12–25 V	63 (with hub)
FireWire 800	786	98.25	100^[3]	15 W, 12–25 V	63 (with hub)
FireWire 400	393	49.13	4.5^[3]^[4]	15 W, 12–25 V	63 (with hub)
USB 3.0	5000	500
USB 2.0	480	60	5^[5]	2.5 W, 5 V	127 (with hub)
USB 1.1	12	1.5
USB 1.0	1.5	0.1875
Ultra-320 SCSI	2560	320	12	否	15 (plus the HBA)
Fiber Channel 通过铜线	4000	400	12	否	126 （16777216 with switches）
Fiber Channel 通过光纤	10520	2000	2–50000	否	126 （16777216 with switches）
Infiniband 12X Quad-rate	120000	12000	5 （铜线）^[6]^[7] <10000 （光纤）	否	1 with Point to point Many with switched fabric

三、SAS与SATA区别

SAS首先定义了硬盘驱动器的接口连接器，其规范即SFF-8482。由于SAS兼容SATA，既要向下兼容SATA硬盘驱动器，又不能让SATA的数据线连接到SAS硬盘驱动器上，SFF-8482规范的制订者们很是下了一番心思。

SFF-8482规范定义的SAS线缆端插座，引脚S1-S7是主端口，另一侧的S8-S14是从端口，而P1-P15的供电部分在SATA是分离的

SFF-8482定义了SAS硬盘驱动器的双端口（dual port）插头，SATA数据线无法与之相连，而符合SFF-8482规范的插座（位于SAS线缆和背板）却可以随意接纳SAS硬盘驱动器或SATA硬盘驱动器。

SAS的连接器在SATA的基础上发展而来，通过巧妙的设计增加了一个数据端口，在确保兼容SATA的前提下完成了双端口这一看似“不可能的任务”。

SAS硬盘驱动器的双端口连接器（上-中）与SATA硬盘驱动器的连接器（下）对比
众所周知，SATA硬盘驱动器的SATA端口和电源供应是分离的，两个连接器之间有大约2个（SATA或电源）引脚宽度的间隙。SAS的做法是将二者连为一体，第二端口就位于这个4～5个SATA信号引脚宽度的“桥”的背面。虽然空间利用得很充分，可毕竟也要布置7个信号引脚，所以从端口（Secondary Port，SAS②）和主端口（Primary Port，SAS①）的“个头”在上面的实物对比图中看起来就像武大郎和武松一样差别明显——当然，仅是针对宽度而言，引脚定义及传递信号的能力是没有区别的。

SAS（上）和SATA（下）硬盘驱动器的连接器在这个投影方向上的主要区别是有无隔断，前者的轮廓包容了后者，使它们共用SAS线缆连接器成为可能
由于SAS硬盘驱动器的接口连接器只是比SATA（加电源）多出来一个从端口，而没有减少什么，所以SAS线缆连接器很自然地就能兼容SATA硬盘驱动器，反之（SATA线缆配SAS硬盘驱动器）则因受到从端口的阻隔而行不通。这种设计能够避免SATA HBA/RAID卡（不支持后者所需的STP协议）访问SAS硬盘驱动器，从而满足了“防呆”的要求。

SAS线缆既可以连接SAS硬盘驱动器（左），也能够连接SATA硬盘驱动器（右）——注意红色箭头所指处缺口的有无，以及硬盘驱动器接口连接器上引脚数量的差异
如上图所示，将主端口、从端口和电源供应融为一体的SAS线缆连接器（共29个引脚），与SAS硬盘驱动器的接口连接器一同由SFF Committee制订的SFF-8482规范（非屏蔽双端口串行附加连接器）定义，也被称为“SAS样式连接器”；与之相对应，原来用于连接SATA硬盘驱动器的信号电缆，其连接器只有7个数据引脚，被称为“SATA样式连接器”。SAS样式连接器的好处当然是用起来方便，但在连接SAS硬盘驱动器时，却也有个潜在的问题。

两个HBA/RAID卡连接同一SAS硬盘驱动器的拓扑图和某种具体的实现方法
SAS样式连接器所属的SAS线缆，其另一头如果直接连在主机端HBA/RAID卡的SAS端口连接器上，那么，由于HBA/RAID卡上的每一个端口都是单端口，而且SAS规范不允许SAS硬盘驱动器的两个端口连接到同一HBA/RAID卡（双端口设计不是为了增加带宽，而是高可用性和容灾的需要），因此，这个SAS样式连接器实际上只有主端口是有效的，但它却同时占据了从端口，反而使双端口形同虚设。

ADP-4000上的SAS样式连接器，用来连接SAS硬盘驱动器
所以，若想要双端口发挥作用，SAS样式连接器通常应该出现在磁盘背板上，接纳SAS硬盘驱动器的插入，而另一侧可以是一对SATA样式连接器（分别对应SAS样式连接器的主、从端口），迎接来自两个HBA/RAID卡上的SAS线缆，实现高可用性。

CS Electronics出品的ADP-4000 SAS热插拔背板适配器，可以把它当作一个“迷你背板”
正因如此，某些SAS HBA/RAID卡配套的SAS线缆，在设备一端用的不是SAS样式连接器，而是利于实现双端口的SATA样式连接器。然而，前面已经介绍过，SATA样式连接器不能插入SAS硬盘驱动器。在这种情况下，可以使用上图所示的SAS-SATA适配器：一端为SAS样式连接器，用来插入SAS硬盘驱动器；另一端（也就是面对我们的）有两个分主、从的SATA样式连接器，对应SAS硬盘驱动器的两个端口，采用SATA样式连接器的SAS线缆插入标有“主信号”（Signal-Primary）的连接器，便可通过SAS硬盘驱动器的主端口访问，反之（Signal-Secondary）亦然。如果两个连接器分别连上两个SAS HBA/RAID卡，还能组成高可用性配置。

IOmeter使用说明

shanyiwan@live.com() — Tue, 06 Dec 2011 01:44:32 GMT

IOmeter简介

IOMeter是一款功能非常强大的IO测试软件，它除了可以在本机运行测试本机的IO（磁盘）性能之外，还提供了模拟网络应用的能力。为了全面测试被测服务器的IO性能，可以分别选择不同类型的测试脚本。

● Max_throughput：文件尺寸为64KB，100%读取操作，随机率为0%，用于检测磁盘系统的最大吞吐量
● Max_IO：文件尺寸为512B，100%读取操作，随机率为0%，用于检测磁盘系统的最大IO能力
● Fielserver：文件尺寸从0.5KB到64KB不等，80%读取操作，随机率为100%，用于模拟文件服务器的性能
● WebServer：文件尺寸从0.5KB到512KB不等，100%读取操作，随机率为100%，用于模拟Web服务器的性能

IOmeter安装

1、获取安装文件：从官方网站 http://www.iometer.org/ 得到安装文件，上面提供不同平台的安装文件。

2、安装IOmeter：安装过程基本上无需特殊的设置，点击"Next" 即可安装成功。

测试IO性能（磁盘/网络）

1、本地IO性能测试

a. 启动Iometer.exe，在windows上单击Iometer图标；
b. 在Iometer启动的同时会自动运行Dynamo.exe，在Iometer中被叫做一个Manager，如下图：

c. 在“Disk Targets”页中选择一个驱动器：

d. 在“Access Specifications”页中选择一个需要的测试项目：

d. 在“Results Display”页中设置“Update Frequency (Seconds)”设置多长时间统计一次测试结果，如果不设置不但在测试期间不显示测试结果而且在测试结束后在测试结果文件中也没有数据：

Total I/Os per Second：数据存取速度，该值越大越好。

Total MBs per Second：数据传输速度，该值越大越好。

Average I/O Response Time：平均响应时间，该值越小越好。

CPU Utilization：CPU占用率，越低越好。

e. 单击工具栏中的“Start Tests”按钮，选择一个测试结果输出文件后开始一个测试（一般一次测试运行10分钟即可）；

f. 测试完成后单击，按钮停止所有测试。

g. 查看测试结果，由于Iometer没有提供一个GUI的查看测试报告的工具。可以使用Excel打开测试结果文件“results.csv”，然后利用Excel的图标工具整理测试结果。或者使用Iometer提供的“Import Wizard for MS Access”将测试结果导入一个Access文件。

网络IO性能测试

网络IO性能测试和本地IO性能测试基本相同，但由于我们要测试的服务器的性能可能要远远高于产生测试压力的客户端（Manager）。所以可以在多台安装了Iometer的机器上启动Dynamo.exe（Manager），并将所有Manager指向一个Iometer的GUI，这样可以在一个客户端中控制所有的Manager给被测服务器造成压力，测试被测服务器的IO（磁盘、网络）性能。

a. 先在控制端启动Iometer，注意此机器上不要启动防火墙因为Dynamo会通过不同的端口连接控制端Iometer；

b. 在一个客户端启动Dynamo:

完整语法：dynamo [/i iometer_computer_name /m manager_computer_name] [/n manager_name]
iometer_computer_name ：运行Iometer 控制端GUI的机器的IP地址；
manager_computer_name ：客户端Manager的机器的IP地址；
manager_name ：客户端Manager的一个名字，缺省使用机器名；
例如：我们在 172.20.16.140 的机器上启动Iometer，在172.20.19.199机器上启动Dynamo（Manager），可以使用如下命令: Dynamo.exe /i 172.20.16.140 /m 172.20.19.199 ，如果一切正常将在172.20.16.140 机器的Iometer（GUI）中看到多出了一个Manager。

在172.20.19.199机器上看到如下提示：

在所有的Manager中都选择一个网络驱动器，这样就可以联合多个Manager对一个网络服务器进行测试。
注意：在个别机器上运行Dynamo.exe连接Iometer时，Iometer会没有响应，所以在做测试前最好先使用所有Manager连一下Iometer看能否能连接成功。

使用Bonnie++进行系统IO性能测试

shanyiwan@live.com() — Tue, 06 Dec 2011 01:09:39 GMT

由于Bonnie存在一些众所周知的问题,比如>2G的文件支持.
Russell Coker (russell@coker.com.au) 开发了一套新的代码,用以支持>2G的文件等.
得到Tim Bray (tbray@textuality.com)的许可之后,Russell把他的软件命名为bonnie++,在网上发布,并开始流行起来.

目前的版本已经更新到了1.03a,你可以到以下地址下载:
http://www.coker.com.au/bonnie++/
你也可以点击这里下载,这个版本需要编译,如果你没有编译环境,可以点击这里下载我编译好的,适用于SUN Solaris环境(Solaris8测试通过)

Russell Coker的个人主页是:
http://www.coker.com.au/

Bonnie++ 与 bonnie的区别主要是:
http://www.coker.com.au/bonnie++/diff.html

我简单介绍一下Bonnie++的编译及使用:

1.编译

你需要把以上下载的源码编译以后才能使用,如果你没有编译环境,可以点击这里下载我编译好的,适用于SUN Solaris环境(Solaris8测试通过)

当然你需要安装make,及gcc等必要编译器.在编译过程中,如果遇到以下错误,可能是因为你没有设置正确的环境变量

$ ./configure
grep: illegal option -- q
Usage: grep -hblcnsviw pattern file . . .
grep: illegal option -- q
Usage: grep -hblcnsviw pattern file . . .
checking for g++... g++
checking for C++ compiler default output... a.out
checking whether the C++ compiler works... configure: error: cannot run C++ compiled programs.
If you meant to cross compile, use `--host'.
See `config.log' for more details.

设置环境变量后继续编译,一般可以成功.

# export LD_LIBRARY_PATH=/usr/lib:/usr/local/lib
# ./configure
grep: illegal option -- q
Usage: grep -hblcnsviw pattern file . . .
grep: illegal option -- q
Usage: grep -hblcnsviw pattern file . . .
checking for g++... g++
checking for C++ compiler default output... a.out
checking whether the C++ compiler works... yes
checking whether we are cross compiling... no
checking for suffix of executables... 
checking for suffix of object files... o
checking whether we are using the GNU C++ compiler... yes
checking whether g++ accepts -g... yes
checking how to run the C++ preprocessor... g++ -E
checking for a BSD-compatible install... /usr/bin/install -c
checking for an ANSI C-conforming const... yes
checking for egrep... egrep
checking for ANSI C header files... yes
checking for sys/types.h... yes
checking for sys/stat.h... yes
checking for stdlib.h... yes
checking for string.h... yes
checking for memory.h... yes
checking for strings.h... yes
checking for inttypes.h... yes
checking for stdint.h... no
checking for unistd.h... yes
checking for size_t... yes
checking vector.h usability... yes
checking vector.h presence... yes
checking for vector.h... yes
checking vector usability... yes
checking vector presence... yes
checking for vector... yes
checking algorithm usability... yes
checking algorithm presence... yes
checking for algorithm... yes
checking algo.h usability... yes
checking algo.h presence... yes
checking for algo.h... yes
checking algo usability... no
checking algo presence... no
checking for algo... no
configure: creating ./config.status
config.status: creating Makefile
config.status: creating bonnie.h
config.status: creating port.h
config.status: creating bonnie++.spec
config.status: creating bon_csv2html
config.status: creating bon_csv2txt
config.status: creating sun/pkginfo
config.status: creating conf.h
config.status: conf.h is unchanged

编译完成之后会生成bonnie++,可以用来测试了.

2.下面是一些测试结果

a.T3大文件读写测试

 
# ./bonnie++ -d /data1 -u root -s 4096 -m billing
Using uid:0, gid:1.
Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
billing          4G  9915  87 30319  56 11685  38  9999  99 47326  66 177.6   3
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16   639  19 +++++ +++  1258  22   679  16 +++++ +++  1197  27
billing,4G,9915,87,30319,56,11685,38,9999,99,47326,66,177.6,3,16,639,19,+++++,+++,1258,22,679,16,+++++,+++,1197,27

b. EMC CLARiiON CX500 禁用写Cache的测试数据

这个是在我禁用了写Cache以后的测试数据:

4块盘的Raid1+0测试:

 
# ./bonnie++ -d /eygle -u root -s 4096 -m jump   
Using uid:0, gid:1.
File size should be double RAM for good results, RAM is 4096M.
# ./bonnie++ -d /eygle -u root -s 8192 -m jump
Using uid:0, gid:1.
Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
jump             8G 12647  36 13414   8  7952  13 33636  97 146503  71 465.7   5
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16    86   1 +++++ +++   161   1    81   1 +++++ +++   163   1
jump,8G,12647,36,13414,8,7952,13,33636,97,146503,71,465.7,5,16,86,1,+++++,+++,161,1,81,1,+++++,+++,163,1

4块盘的Raid5,禁用写Cache后的速度:

 
# ./bonnie++ -d /eygle -u root -s 8192 -m jump
Using uid:0, gid:1.
Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
jump             8G 10956  30 10771   6  3388   5 34169  98 158861  75 431.1   5
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16    81   1 +++++ +++   160   1    82   1 +++++ +++   109   1
jump,8G,10956,30,10771,6,3388,5,34169,98,158861,75,431.1,5,16,81,1,+++++,+++,160,1,82,1,+++++,+++,109,1

对比这两个结果我们发现(单位K/sec):

字符写	Block写	字符读	Block读
Raid10	12,647	13,414	33,636	146,503
Raid5	10,956	10,771	34,169	158,861
Diff	1,691	2,643	-533	-12,358

我们看到,在直接读写上,写Raid10会略快于Raid5;而在读取上,Raid5会略快于Raid10,这符合我们通常的观点.

这里需要提一下的是,通常我们建议把RedoLog file存放在Raid10的磁盘上,因其具有写优势.

c.EMC CLARiiON CX500 启用1G写Cache的测试数据

这是4块盘的Raid10的测试数据:

 
# ./bonnie++ -d /eygle -u root -s 8192 -m jump
Using uid:0, gid:1.
Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
jump             8G 31447  90 73130  50 29123  50 33607  97 144470  71 493.5   6
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16   786  13 +++++ +++  1534  14   781  12 +++++ +++  1527  15
jump,8G,31447,90,73130,50,29123,50,33607,97,144470,71,493.5,6,16,786,13,+++++,+++,1534,14,781,12,+++++,+++,1527,15

这是4块盘的Raid5的测试数据:

 
# ./bonnie++ -d /eygle -u root -s 8192 -m jump
Using uid:0, gid:1.
Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
jump             8G 34620  98 103440  65 35756  61 33900  97 160964  76 495.4   6
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16   788  12 +++++ +++  1503  14   783  11 +++++ +++  1520  15
jump,8G,34620,98,103440,65,35756,61,33900,97,160964,76,495.4,6,16,788,12,+++++,+++,1503,14,783,11,+++++,+++,1520,15

我们再来对比一下这个结果(单位K/sec):

字符写	Block写	字符读	Block读
Raid10	31,447	73,130	33,607	144,470
Raid5	34,620	103,440	33,900	160,964
Diff	-3,173	-30,310	-293	-16,494

Raid5在启用了大的Write Cache下,性能全面超过了Raid10

3.对T3和Emc做个对比

都是4块盘的Raid5的情况下:

字符写	Block写	字符读	Block读
T3	9,915	30,319	9,999	47,326
EMC	34,620	103,440	33,900	160,964
Diff	-24,705	-73,120	-23,901	-113,638
Emc/T3	3.49	3.41	3.39	3.40

4.对ATA Raid10的测试

开有1G Cache的测试结果:

 
# ./bonnie++ -d /eygle -u root -s 8192 -m jump
Using uid:0, gid:1.
Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
jump             8G 34299  97 84734  54 30960  53 33918  97 155474  74 575.0   7
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16   786  12 +++++ +++  1525  13   783  11 +++++ +++  1508  15
jump,8G,34299,97,84734,54,30960,53,33918,97,155474,74,575.0,7,16,786,12,+++++,+++,1525,13,783,11,+++++,+++,1508,15

关闭Cache后的测试数据:

 
# ./bonnie++ -d /eygle -u root -s 8192 -m jump
Using uid:0, gid:1.
Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
jump             8G 15587  44 16282  10  6433  10 33863  97 153921  73 538.8   6
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16    99   1 +++++ +++   161   1    91   1 +++++ +++   180   1
jump,8G,15587,44,16282,10,6433,10,33863,97,153921,73,538.8,6,16,99,1,+++++,+++,161,1,91,1,+++++,+++,180,1

出处：http://www.eygle.com/unix/Use.Bonnie++.To.Test.IO.speed.htm

Dell PowerEdge CPU check for Intel VT

shanyiwan@live.com() — Wed, 19 Oct 2011 06:57:19 GMT

Last year I installed three Dell PowerEdge 1950 1U servers and since than I used them in production as VMWare Server hosts. Couple times when creating and migrating the guest machines I received a warning that my CPU was VT capable but not enabled. To enable this option reboot the Dell server, hit F2 to enter the BIOS and change the Intel VT Virtualization Technology CPU setting. Each month there is a scheduled maintenance and if there is a security update than it will be installed and server reboot, but than I will need to be there and enter the BIOS by console or DRAC console. For that reason I created two scripts to check the CPU bios setting and if required execute the second cmd script to enable the VT option.

Please make sure the Dell OpenManage software is installed. The commands available for Windows and ESX operating systems.

@echo off
REM Ivan Versluis / Ivan1980(at)networknet.nl / Dell PowerEdge Intel VT check
omreport chassis biossetup & omreport chassis processors
pause

@echo off
REM Ivan Versluis / Ivan1980(at)networknet.nl / Dell PowerEdge Intel VT enable
omconfig chassis biossetup attribute=cpuvt setting=enabled
omconfig chassis biossetup attribute=dbs setting=enable
pause

For more information check out this document. The enable script has been executed and I only need to get new security updates for this month. I’ve seen no security update information from Microsoft last days and I will need to wait until next WSUS assigned patches will reboot the servers.

RAID损坏数据备份全过程

shanyiwan@live.com() — Wed, 27 Jul 2011 01:47:56 GMT

【简介】磁盘阵列损坏导致数据丢失的问题时常发生，为了数据安全，我们必须进行备份，防止操作中导致数据二次破坏，操作可以在镜像中完成，提取阵列数据，达到数据恢复的目的。

图中对单盘做镜像的方式（以硬盘为例）：

一、关闭磁盘阵列，将所有硬盘依次拔下来（最好标记好顺序号），挂接在不含适配器上。图硬盘有2.5与3.5寸两种接口，图中为3.5寸）
下图为硬盘的背面及接口放大：
上图接口为SAS接口。只能用SAS适配器连接。RAID损坏后，要想完整备份源数据，必须保证对所有硬盘的读写都是可回溯的。为此，只能使用不含RAID功能的SAS适配器进行连接后镜像，这样才能以单硬盘的方式进行访问。

下图为PCI-E接口的SAS适配卡：

上图中的卡，已连接好数据线。可以最多连接4块SAS硬盘（末端的接口可直接连接硬盘），此卡为PCI-E 8×接口。

连接好硬盘的示意图如下：

下图中的卡为PCI-X接口SAS适配卡。

使用下图连线可直接连接SAS硬盘

连接好线后的图如下：

全部连接好的图如下所示：

二、保证挂接服务器使用操作系统为WIN2003(其他系统也可以，本例以 WINDOWS为例)。
进入系统后，磁盘管理里会看到多个单独的硬盘，此时切记不可初始化磁盘、分区或分配盘符给可能的磁盘分区（如果不确定是否可避免，建议不要进入磁盘管理）。
推荐的作法是利用直接可访问磁盘底层扇区内容的16进制编辑器。以WINHEX为例，安装好WINHEX后，进入WINHEX，如下图所示：

点击Tools—>Open disk菜单，如下图：

点击后出现如下图所示：
上图中Physical Media下列出的便是当前系统挂接到的所有物理存储设备，不经过RAID，以单盘的方式挂接，此列表就会出现物理硬盘的MODEL号及容量。上图中红色框内的便是3块IBM 73G单盘的ID显示。如果选中某块硬盘，点击OK按钮便可以以物理地址16进制的方式打开磁盘（此时不管有没有分区，什么文件系统，都无关重要。打开的便是硬盘73G的存储空间内容），当然，在做镜像时，并不需要打开。我们只是打开这个对话框确定一下硬盘是否挂上。选择Cancel退出。
开始做镜像：
点击Tools－>Disk tools－>Clone Disk，如下图所示：
弹出的对话框如下图：

点击图中兰色所圈按钮，选择源磁盘。选中红色所圈按钮，选择目标文件。（我们的目的是将源硬盘镜像为一个文件，此后，这个文件就是对源硬盘的完整镜像了，大小等于源硬盘的大小，此例中，完成后，目标文件即有73G之大）如下图

此例中选中HD2（即3块IBM SAS硬盘的第一块），点击OK后返回刚才的对话框，此时Source medium列表中便会出来选中的HD2 IBM…..
相同的方式，选择目标文件。如下图：

选好目标文件路径及文件名后。确定返回。

此时，Clone disk对话框如下图：
请再次确认，Source（源）及Destination（目标）是否正确。
对话框中的其他值应该为：点中Copy entire medium（意为做全盘的镜像），Log procedure…可选（选中后，会在拷贝结束后展示摘要，推荐使用，可以知道硬盘是否有坏道等），其他参数不要管（其他参数通常适用于严重坏道等情形）
选好后（一定要确认源和目标），按下OK按钮便开始镜像操作了（WINHEX第一次做此操作，当按下OK按钮时会弹出一个帮助框，意在提醒用户，此操作是有风险的。无碍，可关掉。之后不会再出现）
拷贝的过程如下图：

此过程完成后，镜像就完成了。目标文件即等同于源硬盘，之后可以使用WINHEX用逆向还原回原硬盘。

阵列双保险--RAID 6技术简介

shanyiwan@live.com() — Wed, 27 Jul 2011 01:11:25 GMT

【简介】RAID 5是在存储系统中广泛采用的数据保护技术。该技术是通过把应用数据分成数段，连同这些数据段的校验信息写入一组磁盘来实现的。如果其中有个磁盘出现了故障，就会利用其余的磁盘中的数据和检验信息把故障盘中的数据恢复到热备盘中以保证数据不会丢失。这样RAID 5就存在一种风险，如果在数据重建的过程中，RAID组中的第二块硬盘出现故障，就会出现数据丢失。

为什么需要RAID 6

在经过多年的沉寂之后，RAID 6技术随着大容量ATA硬盘的广泛采用又重新引起了业界的重视。相对于RAID 5来说，用户对RAID 6的了解比较少，因此本站根据HDS的技术白皮书《采用RAID-6技术，增强数据保护》改编成此文与大家共享。为了较为完整地说明问题，编者保留了一些与具体产品配置相关的内容。

RAID 5是在存储系统中广泛采用的数据保护技术。该技术是通过把应用数据分成数段，连同这些数据段的校验信息写入一组磁盘来实现的。如果其中有个磁盘出现了故障，就会利用其余的磁盘中的数据和检验信息把故障盘中的数据恢复到热备盘中以保证数据不会丢失。这样RAID 5就存在一种风险，如果在数据重建的过程中，RAID组中的第二块硬盘出现故障，就会出现数据丢失。

以前，两块盘同时坏的情况是小概率事件，几乎不可能发生。但是近来随着光纤（FC）盘和SATA盘的容量和密度不断增加，使得RAID 5的重建时间也不断增加。这样两块盘同时坏的概率也增加了，在企业级存储上，这种风险必须得到重视。

为了应对这种情况，存储厂商的RAID 6技术就是可以保证两块盘同时出故障而不会丢失数据的新技术。日立数据系统（HDS）公司的TagmaStore全线存储系统除了支持RAID 5，RAID 1技术以外还可以支持RAID 6保护技术，提供给用户多种保护方式的选择。

RAID 6技术背景和简介

RAID技术是为了防止存储系统因为磁盘故障而丢失数据而研发出来的。该技术把数据和校验信息分布到一组盘中（RAID组），当有盘坏的时候，丢失的那部分数据可以通过其他盘上的数据和校验信息计算恢复。这样就增强了存储系统的可靠性。

HDS公司的TagmaStore全线存储系统可以支持RAID 0，RAID 1，RAID 5和RAID 6技术，所以HDS的存储系统不但可以提供更好的可靠性，而且也可以比以往的存储系统有更出色的性能。

HDS 的高端存储系统一般以4个磁盘为一个组，称为Array Group，而一个RAID组则包含一个或者多个Array Group。例如：RAID 1（镜像）可以是2D + 2P或者4D + 4P的配置，也就是说2块数据盘，2块镜像盘，或者4块数据盘和4块镜像盘的配置。RAID 5（带校验的条带化）可以是3D + 1P的配置，其中3块数据盘，1块检验盘，或者是7D + 1P的配置，其中7块数据盘，1块检验盘的配置。实际上，RAID 5的数据和校验都是条带化后分散在RAID组中的各个磁盘中的。

RAID -1提供了最高的可靠性，一块盘上的数据都镜像到RAID组中的另外一块磁盘上。但是这种方式对磁盘的利用率不高，只有一半的磁盘空间能够存放数据，存放同样的数据要多买一倍的磁盘。RAID 5改善了利用率的问题，但是因为要计算校验信息而使得写性能有所下降。HDS TagmaStore系列存储中的模块化产品也能支持RAID 0技术（没有校验的条带化），RAID 0技术有很好的性能表现，但是RAID 0没有冗余保护功能，RAID组中任何一块磁盘的损坏都会造成数据的丢失。因此HDS只在中端模块化阵列的光纤盘上支持RAID 0技术，在SATA盘上不支持RAID 0，同时HDS建议用户不要在关键数据上采用RAID 0技术。

当采用RAID 1或者RAID 5技术的时候，如果其中有个磁盘出现了故障，就会利用RAID组中其余的磁盘中的数据和检验信息把故障盘中的数据恢复到热备盘中以保证数据不会丢失。工程师用新盘替换坏掉的磁盘，这时候存储系统会把热备盘中的数据拷贝回新换上的盘中（HDS的WMS/AMS中端模块化存储可以支持不回拷）。当回拷完成后，系统又回到了正常工作状态，可以再次抵御磁盘故障。

如今磁盘的容量和密度一再变大，出现了300GB的光纤盘和500GB的SATA盘，每个盘中存放的数据比以往大了很多，磁盘故障影响的数据量也跟着增加。这样从磁盘故障，到磁盘系统恢复正常状态的时间也会比以往长很多，这个过程中同一个RAID组里面第二块磁盘出现故障而导致数据丢失的可能性也变大。

为了防止两块磁盘故障而引起的数据丢失，HDS TagmaStore存储系统现在支持RAID 6（6D + 2P）。和RAID 5相似的是，RAID 6采用了校验数据，和RAID 5不同的是RAID 6有两份检验数据，可以保证同一RAID组中两块磁盘同时故障而不丢失数据。

RAID 6（6D + 2P）原理

和RAID 5相似，RAID 6（6D + 2P）根据条带化的数据生成校验信息，条带化数据和校验数据一起分散存储到RAID组的各个磁盘上。在图1中，D0，D1，D2，D3，D4和D5是条带化的数据，P代表校验数据，Q是第二份校验数据。
图1：RAID 6（6D + 2P）根据条带化的数据生成校验信息，条带化数据和校验数据一起分散存储到RAID组的各个磁盘上

RAID 6校验数据生成公式（P和Q）：

P的生成用了异或

P = D0 XOR D1 XOR D2 XOR D3 XOR D4 XOR D5

Q的生成用了系数和异或

Q = A0*D0 XOR A0*D1 XOR A0*D2 XOR A0*D3 XOR A0*D4 XOR A0*D5

D0～D5：条带化数据

A0～A5：系数

XOR：异或

*：乘

在RAID 6中，当有1块磁盘出故障的时候，利用公式1恢复数据，这个过程是和RAID 5一样的。而当有2块磁盘同时出故障的时候，就需要同时用公式1和公式2来恢复数据了。

在图1中，各系数A0～A5是线性无关的系数，在D0，D1，D2，D3，D4，D5，P，Q中有两个未知数的情况下，也可以联列求解两个方程得出两个未知数的值。这样在一个RAID组中有两块磁盘同时坏的情况下，也可以恢复数据。

上面描述的是校验数据生成的算法。其实RAID 6的核心就是有两份检验数据，以保证两块磁盘同时出故障的时候，也能保障数据的安全。

数据分布

如图2所示，通过条带化，把应用数据和校验数据打散到一个RAID组的8个磁盘中，可以充分保证读写性能和数据的安全性。
图2：RAID 6的数据分布

RAID 6可以保证同一个RAID组中两块磁盘故障的情况下的数据安全。RAID 6的数据恢复

从1块磁盘故障中恢复数据

当有1块磁盘出故障的时候，利用公式1恢复数据，这个过程不需要Q这部分校验数据，如图3所示，这个过程是和RAID 5一样的。

图3：在RAID 6（6D + 2P）中恢复D3数据，展示了存放D3数据的盘出现故障的恢复过程

公式：D3 = D0 XOR D1 XOR D2 XOR P XOR D4 XOR D5

从2块磁盘故障中恢复数据

当同时有2块磁盘故障的时候，需要同时用到公式1和公式2来恢复数据，如图4所示。
图4：在RAID 6（6D + 2P）中恢复D3和D4数据，展示了存放D3和D4数据的盘出现故障的恢复过程

公式1和公式2：

P = D0 XOR D1 XOR D2 XOR D3 XOR D4 XOR D5

Q = A0*D0 XOR A0*D1 XOR A0*D2 XOR A0*D3 XOR A0*D4 XOR A0*D5

D3和D4由解以上两个联立的方程得出结果各种RAID类型之间的比较

空间的利用率

表1表明了在RAID 1、RAID 5和RAID 6下有多少磁盘空间是可以给用户数据使用的。

表1：不同RAID类型的磁盘利用率比较

RAID类型	空间利用率	备注
RAID 1(2D+2D)	50%	镜像
RAID 5(3D+1D)	75%	数据盘和校验盘之间的比例
RAID 5(7D+1D)	87.5%	数据盘和校验盘之间的比例
RAID 6(6D+2D)	75%	RAID 6 (6D + 2D)和RAID 5 (3D + 1D)的利用率是一样的

性能之间的比较

表2表明了在足够磁盘数据的情况下各种RAID类型的性能比较，RAID 1 (2D + 2D)作为基准（100%）。

表2：不同RAID类型的性能比较

RAID类型	随机读和顺序读	顺序写	随机写
RAID 1(2D+2D)	100%	100%	100%
RAID 5(3D+1D)	100%	150%	50%
RAID 5(7D+1D)	200%	350%	100%
RAID 6(6D+2D)	200%	300%	66.7%
备注	和磁盘的数量成正比	和数据盘的数量成正比

比较RAID 5 (7D + 1D)和RAID 6 (6D + 2D)随机写

如表2中所示，RAID 6在增加了可靠性的同时，牺牲了部分随机写性能。在随机写操作中，在同样多的磁盘的RAID组中，RAID 6所花费的时间是RAID 5的的1.5倍。每次RAID 5 (7D + 1D)进行一次随机写操作，实际上产生了4个I/O：读老的应用数据，读老的校验数据，写新的应用数据和写新的校验数据（P）。而RAID 6做同样一个随机写操作，实际上需要6个I/O，读老的用户数据，读老的校验数据P，读老的校验数据Q，写新的用户数据，写新的校验数据P，写新的校验数据Q。这样就造成了RAID 5 (7D + 1D)和RAID 6 (6D + 2D)随机写的33%性能差异。

RAID选择中的注意事项

在选择采用何种RAID类型的时候，必须注意以下事项：
用户数据需要多少空间
校验带来的磁盘空间损失
应用的性能要求
在磁盘故障时，磁盘的重建时间

随着用户数据的不断增长，用户采用大容量磁盘的可能性也与日俱增，但是在使用大容量硬盘的时候，必须要考虑过长的重建时间而引起的数据丢失风险。在某些情况下，数据重建会非常困难或者对系统性能的冲击会很大，如：大交易量，大量写操作的数据库应用，建议采用RAID 6技术，这样可以给用户数据带来更好的保护。

总结

RAID 5技术是很多存储系统数据保护的基础。但是采用RAID 5技术需要承担在第一块故障盘重建的过程中，第二块磁盘发生故障而导致数据丢失的风险。而RAID 6技术的推出使得数据可以在两块磁盘同时故障的情况下也不会丢失。

DSET工具使用说明

shanyiwan@live.com() — Thu, 16 Jun 2011 00:54:14 GMT

当您的服务器出现不稳定现象,也无法确定是硬件问题还是软件软件, DELL的工程师希望您帮忙抓取系统日志和硬件日志, 可以通过这个叫做DSET的工具将这些日志抓取,然后将其发给DELL的工程师加以分析,便于更快地找到问题所在.

一、LINUX

下载链接：

http://ftp.us.dell.com/diags/delldset_v2.1.0.112_A00.bin

http://ftp.us.dell.com/diags/delldset_v2.0.0.119_A01.bin

http://ftp.dell.com/diags/delldset_v1.9.0.131_A02.bin

http://support.dell.com/dset/

1，下载 delldset.bin 文件，上传到要运行的linux服务器上。用命令给它添加可执行权限

二、Windows

下载链接：
Windows:
http://ftp.us.dell.com/diags/Dell_DSET_2.2.0.118_A00.msi

http://ftp.us.dell.com/diags/Dell_DSET_2.1.0.113_A00.msi(2.2,2.1的版本适用于windows 2003,2008的系统，可用在dell的11代，10代，9代，8代的机器上，早期的6代和7代的机器，比如PE2650，1750不适用，老机器请用老版本）

ftp://ftp.dell.com/diags/Dell_DSET_2.0.0.118_A01.msi

ftp://ftp.dell.com/diags/Dell_DSET_1.9.0.131_A02.msi

http://support.dell.com/dset/

PERC5/6 RAID配置中文手册

shanyiwan@live.com() — Sat, 24 Jul 2010 01:38:08 GMT

对RAID进行操作很可能会导致数据丢失，请在操作之前务必将重要数据妥善备份，以防万一。

名称解释：
Disk Group：磁盘组，这里相当于是阵列，例如配置了一个RAID5，就是一个磁盘组
VD(Virtual Disk)：虚拟磁盘，虚拟磁盘可以不使用阵列的全部容量，也就是说一个磁盘组可以分为多个VD
PD(Physical Disk)：物理磁盘
HS：Hot Spare 热备
Mgmt：管理

【一】，创建逻辑磁盘
1、按照屏幕下方的虚拟磁盘管理器提示，在VD Mgmt菜单（可以通过CTRL+P/CTRL+N切换菜单），按F2展开虚拟磁盘创建菜单

2、在虚拟磁盘创建窗口，按回车键选择”Create New VD”创建新虚拟磁盘

3、在RAID Level选项按回车，可以出现能够支持的RAID级别，RAID卡能够支持的级别有RAID0/1/5/10/50，根据具体配置的硬盘数量不同，这个位置可能出现的选项也会有所区别。
选择不同的级别，选项会有所差别。选择好需要配置的RAID级别（我们这里以RAID5为例），按回车确认。

4、确认RAID级别以后，按向下方向键，将光标移至Physical Disks列表中，上下移动至需要选择的硬盘位置，按空格键来选择（移除）列表中的硬盘，当选择的硬盘数量达到这个RAID级别所需的要求时，Basic Settings的VD Size中可以显示这个RAID的默认容量信息。有X标志为选中的硬盘。
选择完硬盘后按Tab键，可以将光标移至VD Size栏，VD Size可以手动设定大小，也就是说可以不用将所有的容量配置在一个虚拟磁盘中。如果这个虚拟磁盘没有使用我们所配置的RAID5阵列所有的容量，剩余的空间可以配置为另外的一个虚拟磁盘，但是配置下一个虚拟磁盘时必须返回VD Mgmt创建（可以参考第13步，会有详细说明）。VD Name根据需要设置，也可为空。
注：各RAID级别最少需要的硬盘数量，RAID0=1 RAID1=2 RAID5=3 RAID10=4 RAID50=6

5、修改高级设置，选择完VD Size后，可以按向下方向键，或者Tab键，将光标移至Advanced Settings处，按空格键开启（禁用）高级设置。如果开启后（红框处有X标志为开启），可以修改Stripe Element Size大小，以及阵列的Read Policy与Write Policy，Initialize处可以选择是否在阵列配置的同时进行初始化。
高级设置默认为关闭（不可修改），如果没有特殊要求，建议不要修改此处的设置。

6、上述的配置确认完成后，按Tab键，将光标移至OK处，按回车，会出现如下的提示，如果是一个全新的阵列，建议进行初始化操作，如果配置阵列的目的是为了恢复之前的数据，则不要进行初始化。按回车确认即可继续。

7、配置完成后，会返回至VD Mgmt主界面，将光标移至图中Virtual Disk 0处，按回车。

8、可以看到刚才配置成功的虚拟磁盘信息，查看完成后按esc键可以返回主界面

9、在此界面，将光标移至图中Virtual Disk 0处，按F2键可以展开对此虚拟磁盘操作的菜单。
注：左边有+标志的，将光标移至此处，按向右方向键，可以展开子菜单，按向左方向键，可以关闭子菜单

10、如下图红框所示，可以对刚才配置成功的虚拟磁盘（Virtual Disk 0）进行初始化（Initialization），一致性校验（Consistency Check），删除，查看属性等操作。

11、如果我们要对此虚拟磁盘进行初始化，可以将光标移至Initialization处，回车后选择Start Init。此时会弹出提示窗口，初始化将会清除所有数据，如果确认要进行初始化操作，在OK处按回车即可继续。
注：初始化会清除硬盘、阵列中的所有信息，并且无法恢复

12、确认后可以看到初始化的进度，左边红框处为百分比表示，右边红框处表示目前所作的操作。等待初始化进行为100%，虚拟磁盘的配置完成。

13、如果刚才配置虚拟磁盘的时候没有使用阵列的全部容量，剩余的容量可以在这里划分使用。将光标移至Space allocation处，按向右方向键展开此菜单

14、将光标移至*Free Space*处，按F2键，至第15步，或者直接按回车至第16步

15、在弹出的Add New VD处按回车键。

16、再次进入配置虚拟磁盘的界面，此时左边红框处为刚才配置的虚拟磁盘已经选择的物理磁盘信息，右边红框处可以选择这次要划分的容量空间。同样，如果不全部划分，可以再次返回第13步，进行再一个虚拟磁盘的创建。
注：由于虚拟磁盘的建立是基于刚才所创建的阵列，所以RAID Level与刚才所创建的相同，无法更改。

17、每一次创建，都会在Virtual Disks中添加新的虚拟磁盘。这些虚拟磁盘都是在同一个磁盘组（也就是我们刚才所配置的RAID5）上划分的。

【二】，配置热备（Hot spare）
配置Hot Spare有两种模式，一种是全局热备，也就是指这个热备硬盘可以做为这个通道上所有阵列的热备；另一种是独立热备，配置硬盘为某个指定的磁盘组中的所有虚拟磁盘做热备，也就是说这个磁盘组以外的其他阵列即使硬盘掉线，这个热备也不会去自动做rebuild
配置全局热备：
1、首先要已经有存在的磁盘组（阵列），我们这里举例为已经配置了两个阵列，阵列0是由0、1、2三块物理磁盘配置的RAID5，阵列1是由4、5两块物理磁盘配置的RAID1，如图：

2、按CTRL+N 切换至PD Mgmt界面，可以看到4号硬盘的状态是Ready。

3、将光标移至4号硬盘，按F2，在弹出的菜单中，选择Make Global HS，配置全局的热备盘

4、确认后，4号硬盘的状态变为Hotspare

5、配置完成后，可以看到磁盘组0与磁盘组1的热备盘都是同一个。

6、移除热备，进入PD Mgmt菜单，将光标移至热备盘处，按F2，选择Remove Hot Spare，回车移除

配置独立热备：
1、在配置好的虚拟磁盘管理界面下，将光标移至需要配置独立热备的磁盘组上，按F2键，在出现的菜单中选择 Manage Ded. HS

2、将光标移至需要配置为热备的硬盘上，按空格键，看到X标识，说明此硬盘被选择。将光标移至OK处回车，完成配置

3、可以看到磁盘组0已经有了热备盘，并且是Dedicated。而磁盘组1并没有热备盘。

4、移除热备，同第1步，将光标移至需要移除热备的磁盘组上，按F2键，在出现的菜单中选择 Manage Ded. HS

5、将光标移至需要移除的热备硬盘上，按空格键，去掉X标识，说明此硬盘被移除。将光标移至OK处回车，完成热备移除。

【三】删除虚拟磁盘：
1、将光标移至要删除的虚拟磁盘处，按F2，选择Delete VD按回车继续

2、在弹出的确认窗口，OK处按回车确认即可删除。
注：删除的同时会将此虚拟磁盘的数据全部删除。

3、删除磁盘组，将光标移至要删除的磁盘组处，按F2，选择Delete Disk Group按回车继续

4、在弹出的确认窗口，OK处按回车确认，即可删除
注：删除的同时会将此磁盘组的数据全部删除。

drbd的使用

shanyiwan@live.com() — Wed, 02 Jun 2010 04:24:42 GMT

一. DRBD介绍

DRBD是一种块设备,可以被用于高可用(HA)之中.它类似于一个网络RAID-1功能.当你将数据写入本地文件系统时,数据还将会被发送到网络中另一台主机上.以相同的形式记录在一个文件系统中.
本地(主节点)与远程主机(备节点)的数据可以保证实时同步.当本地系统出现故障时,远程主机上还会保留有一份相同的数据,可以继续使用.

在高可用(HA)中使用DRBD功能,可以代替使用一个共享盘阵.因为数据同时存在于本地主机和远程主机上,切换时,远程主机只要使用它上面的那份备份数据,就可以继续进行服务了.
DRBD的工作原理如下图:

        +--------+
        |  文件系统 |
        +--------+
             |
             V
        +----------+
        |   块设备层  |
        | (/dev/drbd1) |
        +----------+
         |            |
         |            |
         V           V
   +----------+  +-----------+
   |  本地硬盘   |   | 远程主机硬盘 |
   | (/dev/hdb1)  |   | (/dev/hdb1)  |
   +----------+  +-----------+

二. DRBD的安装

从官方网站下载源码包:

www.drbd.org

我们在Turbolinux10.5上使用drbd-8.0.4版.分别在两台主机上安装DRBD:

# tar jxf drbd-8.0.4.tar.gz
# cd drbd-8.0.4
# make
# make install

make install执行之后:
drbd.ko被安装到/lib/modules/$KernelVersion/kernel/drivers/block下.
drbd相关工具(drbdadm,drbdsetup)被安装到/sbin下.
并会在/etc/init.d/下建立drbd启动脚本.

三. DRBD的配置

1.DRBD使用的硬盘分区

你需要为本地主机和远程主机,指定一个DRBD使用的硬盘分区.这两个分区的大小必须相同. 我们指定两台主机的/dev/hdb1分区作为DRBD的使用的分区.这两个分区大小都为300MB.

2.drbd.conf配置文件

DRBD运行时,会读取一个配置文件/etc/drbd.conf.这个文件里描述了DRBD设备与硬盘分区的映射关系,和DRBD的一些配置参数.
下面是一个drbd.conf文件的简单示例:
<主机>Turbolinux 10.5操作系统,主机名为g105-1,IP地址为 10.0.1.2,DRBD分区为/dev/hdb1.
<备机>Turbolinux 10.5操作系统,主机名为g105-2,IP地址为 10.0.2.2,DRBD分区为/dev/hdb1.

       # 是否参加DRBD使用者统计.默认是yes
       global { usage-count yes; }
       # 设置主备节点同步时的网络速率最大值,单位是字节.
       common { syncer { rate 1M; } }
       # 一个DRBD设备(即:/dev/drbdX),叫做一个"资源".里面包含一个DRBD设备的主备节点的
       # 相关信息.
       #
       resource r0 {
            # 使用协议C.表示收到远程主机的写入确认后,则认为写入完成.
            protocol C; 
            net {
                 # 设置主备机之间通信使用的信息算法.
                 cram-hmac-alg sha1;
                 shared-secret "FooFunFactory";
            }
            # 每个主机的说明以"on"开头,后面是主机名.在后面的{}中为这个主机的配置.
            on g105-1 {
                 # /dev/drbd1使用的磁盘分区是/dev/hdb1
                 device    /dev/drbd1;
                 disk      /dev/hdb1;
                 # 设置DRBD的监听端口,用于与另一台主机通信
                 address   10.0.1.2:7898;
                 meta-disk  internal;
            }
            on g105-2 {
                 device    /dev/drbd1;
                 disk      /dev/hdb1;
                 address   10.0.2.2:7898;
                 meta-disk  internal;
            }
       }

然后将这个drbd.conf文件分别复制到两台主机的/etc目录下.

3.DRBD的启动

在启动DRBD之前,你需要分别在两台主机的hdb1分区上,创建供DRBD记录信息的数据块.分别在两台主机上执行:

[root@g105-1 /]# drbdadm create-md r0
[root@g105-2 /]# drbdadm create-md r0

“r0”是我们在drbd.conf里定义的资源名称. 现在我们可以启动DRBD了,分别在两台主机上执行:

[root@g105-1 /]# /etc/init.d/drbd start
[root@g105-2 /]# /etc/init.d/drbd start

现在可以查看DRBD的状态,然后在g105-1主机上执行:

[root@g105-1 /]# cat /proc/drbd
version: 8.0.4 (api:86/proto:86)
SVN Revision: 2947 build by root@g105-1, 2007-07-28 07:22:30
 1: cs:Connected st:Secondary/Secondary ds:Inconsistent/Inconsistent C r---
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0
        resync: used:0/31 hits:0 misses:0 starving:0 dirty:0 changed:0
        act_log: used:0/127 hits:0 misses:0 starving:0 dirty:0 changed:0

”/proc/drbd”中显示了drbd当前的状态.第一行的st表示两台主机的状态,都是”备机”状态.ds是磁盘状态,都是”不一致”状态. 这是由于,DRBD无法判断哪一方为主机,以哪一方的磁盘数据作为标准数据.所以,我们需要初始化一个主机.在g105-1上执行:

[root@g105-1 /]# drbdsetup /dev/drbd1 primary -o

现在再看一个g105-1上的DRBD状态:

[root@g105-1 /]# cat /proc/drbd
version: 8.0.4 (api:86/proto:86)
SVN Revision: 2947 build by root@g105-1, 2007-07-28 07:22:30
 1: cs:SyncSource st:Primary/Secondary ds:UpToDate/Inconsistent C r---
    ns:42688 nr:0 dw:0 dr:42688 al:0 bm:2 lo:4 pe:0 ua:4 ap:0
        [==>.................] sync'ed: 14.7% (262464/305152)K
        finish: 0:02:58 speed: 1,440 (1,292) K/sec
        resync: used:1/31 hits:2669 misses:3 starving:0 dirty:0 changed:3
        act_log: used:0/127 hits:0 misses:0 starving:0 dirty:0 changed:0

主备机状态分别是”主/备”,主机磁盘状态是”实时”,备机状态是”不一致”.
在第3行,可以看到数据正在同步中,即主机正在将磁盘上的数据,传递到备机上.现在的进度是14.7%.
现在看一下g105-2上面的DRBD状态.

[root@g105-2 /]# cat /proc/drbd
version: 8.0.4 (api:86/proto:86)
SVN Revision: 2947 build by root@g105-2, 2007-07-28 07:13:14
 1: cs:SyncTarget st:Secondary/Primary ds:Inconsistent/UpToDate C r---
    ns:0 nr:56608 dw:56608 dr:0 al:0 bm:3 lo:0 pe:0 ua:0 ap:0
        [===>................] sync'ed: 20.0% (248544/305152)K
        finish: 0:02:57 speed: 1,368 (1,284) K/sec
        resync: used:0/31 hits:3534 misses:4 starving:0 dirty:0 changed:4
        act_log: used:0/127 hits:0 misses:0 starving:0 dirty:0 changed:0

稍等一会,在数据同步完后,再查看一下g105-1的DRBD状态:

[root@g105-1 /]# cat /proc/drbd
version: 8.0.4 (api:86/proto:86)
SVN Revision: 2947 build by root@g105-1, 2007-07-28 07:22:30
 1: cs:Connected st:Primary/Secondary ds:UpToDate/UpToDate C r---
    ns:305152 nr:0 dw:0 dr:305152 al:0 bm:19 lo:0 pe:0 ua:0 ap:0
        resync: used:0/31 hits:19053 misses:19 starving:0 dirty:0 changed:19
        act_log: used:0/127 hits:0 misses:0 starving:0 dirty:0 changed:0

磁盘状态都是”实时”,表示数据同步完成了.

4.使用DRBD

你现在可以把主机上的DRBD设备挂载到一个目录上进行使用.备机的DRBD设备无法被挂载,因为它是用来接收主机数据的,由DRBD负责操作.
在g105-1上执行:

[root@g105-1 /]# mount /dev/drbd1 /mnt/drbd1
[root@g105-1 /]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/hda3             9.3G  6.5G  2.4G  73% /
/dev/hda1              99M  9.3M   85M  10% /boot
none                  249M     0  249M   0% /dev/shm
/dev/drbd1            289M   11M  264M   4% /mnt/drbd1

现在,我们在drbd1目录里建立一个200M的文件:

[root@g105-1 /]# dd if=/dev/zero of=/mnt/drbd1/tempfile1.tmp bs=104857600 count=2

操作完成后,在g105-2(备机)上执行:
我们先停止DRBD

[root@g105-2 /]# /etc/init.d/drbd stop

现在,我们可以将hdb1进行挂载

[root@g105-2 /]# mount /dev/hdb1 /mnt/drbd1
[root@g105-2 /]# ls /mnt/drbd1 -hl
total 201M
drwx------  2 root root  12K Jul 28 23:44 lost+found
-rw-r--r--  1 root root 200M Jul 29 00:20 tempfile1.tmp
[root@g105-2 /]# umount /mnt/drbd1

可以看到,在主机g105-1上产生的文件tmpfile1.tmp,也完整的保存在备机g105-2的DRBD分区上. 这就是DRBD的网络RAID-1功能. 在主机上的任何操作,都会被同步到备机的相应磁盘分区上,达到数据备份的效果.

5.DRBD的主备机切换

有时,你需要将DRBD的主备机互换一下.可以执行下面的操作:
在主机上,先要卸载掉DRBD设备.

[root@g105-1 /]# umount /mnt/drbd1

将主机降级为”备机”.

[root@g105-1 /]# drbdadm secondary r0
[root@g105-1 /]# cat /proc/drbd
version: 8.0.4 (api:86/proto:86)
SVN Revision: 2947 build by root@g105-1, 2007-07-28 07:13:14
 1: cs:Connected st:Secondary/Secondary ds:UpToDate/UpToDate C r---
    ns:0 nr:5 dw:5 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0
        resync: used:0/31 hits:0 misses:0 starving:0 dirty:0 changed:0
        act_log: used:0/127 hits:0 misses:0 starving:0 dirty:0 changed:0

现在,两台主机都是”备机”.
在备机g105-2上,将它升级为”主机”.

[root@g105-2 /]# drbdadm primary r0
[root@g105-2 /]# cat /proc/drbd
version: 8.0.4 (api:86/proto:86)
SVN Revision: 2947 build by root@g105-2, 2007-07-28 07:13:14
 1: cs:Connected st:Primary/Secondary ds:UpToDate/UpToDate C r---
    ns:0 nr:5 dw:5 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0
        resync: used:0/31 hits:0 misses:0 starving:0 dirty:0 changed:0
        act_log: used:0/127 hits:0 misses:0 starving:0 dirty:0 changed:0

现在,g105-2成为了”主机”.你可以把它的/dev/drbd1进行挂载和使用了.同样,数据会被同步到g105-1上面.

dell 2950 raid阵列冷迁移方法

shanyiwan@live.com() — Tue, 30 Jun 2009 03:01:37 GMT

dell 2950 raid阵列冷迁移方法

作/译者：叶金荣（Email: ），来源：http://imysql.cn，转载请注明作/译者和出处，并且不能用于商业用途，违者必究。

假设2个服务器：
A (故障)
B (正常)
现在需要从 A => B

1. 关闭 A 和 B 服务器
2. 将 B 上的所有磁盘按顺序拔出，记录位置
3. 启动 B 服务器，进入 raid 配置界面，之前需要按 C 再按 Y 以进入
4. 进入 B 服务器的 raid 配置界面，清空 raid 配置信息 (reset config)
5. 将 A 上的所有磁盘按顺序拔出，记录位置，并且按这个位置插入到 B 中
6. 启动 B，进入 raid 配置界面，导入 raid 配置信息 (import config)
7. 重启 B，检查是否能正常启动系统
8. 完成