安装大型Linux集群(3):存储和共享文件系统

架构

如图 1 所示，每个节点均连接至两个网络。其中的第一个网络用于计算流量和总的集群通信。第二个网络则专门针对 GPFS，为那些不具有 Storage Area Network (SAN) 存储系统直观视图的节点提供经由 IP 的存储访问。这个网络使用巨大帧来获得好的性能。有关存储网络的更详细的信息，请参阅本系列第 4 部分的 GPFS 网络调优一节。

存储区域网络

本解决方案的存储后端包括两个磁盘子系统，均为 IBM TotalStorage DS4500（之前为 FAStT 900）磁盘系统，每一个都附带完全填充过的 EXP710 扩展磁盘柜。每个 DS4500 均被配置成 RAID 5 4+P 阵列外加热后备磁盘。

每个 DS4500 均由一对存储服务器所有。在这两个服务器间拆分 4+P 阵列，以便每个服务器都可充当阵列其中一半的主服务器、阵列另一半的备用服务器。这样一来，若任何一个服务器故障，另一个服务器都能立即作为主服务器从故障的服务器接管磁盘。

数据复制

本例中，GPFS 会复制 GPFS 文件系统中的数据或元数据。存储被拆分成三个故障组。每一个故障组都包括一组共享共同故障点的逻辑磁盘（从操作系统不难发现，这里，一个磁盘对应于一个 LUN，这个 LUN 是 DS4500 上的一个磁盘阵列）。此系统中的故障组由如下部分组成：

• 故障组 1 中的一个 DS4500 系统
• 故障组 2 中一个 DS4500 系统
• 属于 tie-breaker 节点的本地磁盘

在创建 GPFS 文件系统时，应该先将数据和元数据的副本数量指定为 2。所以，对于如上定义的故障组，每半个部分都会包含文件系统的一个副本。第 3 个故障组是解决磁盘仲裁问题所必需的，以便如果存储的其中一半离线之后，磁盘仲裁能立即发挥作用且文件系统也能保持总可以被访问。

硬件准备

如所提到的，此集群包含两个 IBM TotalStorage DS4500 设备，二者组成了此解决方案的存储后端。有关此硬件的更多信息，可以在 参考资料 一节找到。

IBM 使用 IBM TotalStorage DS4000 EXP710 光纤通道（FC）存储扩展单元将两个 DS4500 系统连接起来。其中的每个单元都是一个 14-bay、2 GBps、可机架安装的 FC 封装。 有关此硬件的更多信息，可以在 参考资料 一节找到。

如下的章节涵盖了这个示例解决方案中用到的 DS4500 和 EXP710 单元的配置细节。

开关的顺序

注意，您需要以一种特定的顺序来开关 SAN 系统，以便所有存储都可被正确发现。请以如下顺序执行系统开启：

1. SAN 交换机（允许其完全初始化）
2. EXP 710 柜
3. DS4500 （允许其完全初始化）
4. 存储服务器

关闭的顺序则与之相反，如下所示：

1. 存储服务器
2. DS4500
3. EXP 710
4. SAN 交换机

连接

图 2 显示了 DS4500 单元的背面。在左侧有四个 mini-hub 端口，可用来进行主机连接。在本文，将这四个端口由左向右依次表示为 slot 1 至 slot 4，如图 1 所示。Slot 1 和 3 对应于顶部控制器，即控制器 A。Slot 2 和 4 分别对应于底部的控制器，即控制器 B。在右侧，也有四个 mini-hub 端口，可用于进行扩展柜 (EXP710) 的连接。

Cabling

每个 DS4500 都会连至两个环，如图 3 所示。

设置 EXP 封装 ID

每个 EXP 710 柜都必须有惟一的 ID。这可通过每个封装背部的面板进行设置。

为 DS4500 控制器配置 IP 地址

使用每个封装背面的串行口设置每个控制器的 IP 地址。可以使用 Windows® 中的应用程序超级终端或 Linux 上的小型计算机进行这里设置。本例使用了如下设置：

• 波特 38400
• 比特 8
• 奇偶校验 无
• 结束比特 1
• 流量 xon/xoff

通过发送 Break（如果使用超级终端，则为 Ctrl-Break）来建立连接，然后再按下空格键来设置速度。之后，发送另一个 break 并使用退出键进入内核。默认的密码是 infiniti。

使用命令 netCfgShow 显示控制器的当前 IP 地址设置，使用命令 netCfgSet 来设置所需连接的 IP 地址、子网掩码和网关。