您查看的文章来源于http://www.oklinux.cn
当节点完成基本操作系统的安装时,您可以使用 CSM 自动运行如清单 1 所示的脚本,这样在节点引导时,就可以自动挂载 GPFS 文件系统了。首先需要将这个脚本定义为 CSM 监视器中的一种响应机制。例如: mkresponse -n SetupGPFS -s /path/to/script/SetupGPFS.sh SetupGPFS
。
现在就有一个名为 SetupGPFS 的响应了,它会运行这个脚本。接下来应该将这个响应关联到默认的 CSM 条件 NodeFullInstallComplete
,方法如下: startcondresp NodeFullInstallComplete SetupGPFS
。
现在每当安装一个新节点时,CSM 都会在管理服务器上自动运行这个脚本。在 CSM 管理服务器上,现在当运行 lscondresp
命令时,应该可以看到 NodeFullInstallComplete
条件与 SetupGPFS
响应关联。这个条件或响应应该被列为 Active
。
解决 ROM 溢出问题
xSeries 346 上可用 ROM 的空间数量存在一个问题,在引导时可能会出现 PCI 分配错误。消息说明系统 ROM 空间已满,没有空间来为其他使用 ROM 空间的适配器使用了(更详细内容请参看 参考资料)。
如果启用了 PXE 引导,这个问题就会影响存储节点,其中 Qlogic PCI 适配器没有足够的空间正确进行初始化。针对这个问题的一个解决方案如下;
- 禁用 GPFS 网络使用的 Broadcom PCI 卡上的 PXE 引导功能。使用下载的诊断工具 b57udiag -cmd,选择设备,然后禁用 PXE 引导。
- 通过 CSM 利用 PXE 引导来安装节点,然后使用 BIOS 禁用两个 onboard 适配器中的 PXE 引导功能(详细步骤在 按照正确顺序安装存储节点 一节中介绍)。
避免这个问题的另外一种解决方案是在每台 xSeries 346 上都使用一个 RAID 7K 卡。这可以减少 SCSI BIOS 所使用的 ROM 数量,并允许 Qlogic BIOS 成功加载,即使启用了 PXE 也没有问题。
在存储服务上定义 HBA 配置
示例集群中 xSeries 346 存储服务器上使用的 HBA 是 IBM DS4000 FC2-133 Host Bus Adapter(HBA)型号的适配器。它也称为 Qlogic 2342 适配器。本例使用了 1.43 版本的固件,以及上一节提到的 v7.01.01-fo qla2300 驱动程序。驱动程序中的 -fo
表示具有故障恢复功能,这不是驱动程序的默认选项。可以通过修改每个存储节点上的 /etc/modules.conf
的设置启用。这是在安装过程中使用 CSM 实现的,将在 配置 Qlogic 故障恢复 一节中介绍。
下一节介绍了更新固件和每个存储服务器上 HBA 设置所需要的步骤,以及重新安装驱动以在两个 HBA 之间启用负载均衡所需要的手工步骤。
下载 HBA 固件
您可以从 IBM System x 支持 Web 站点(请参看 参考资料)上下载 FC2-133 HBA 的固件。固件可以使用 IBM Management Suite Java 或可引导的磁盘和 flasutil 程序进行更新。
配置 HBA 设置
对于这个示例集群来说,需要对 HBA 的默认设置进行以下修改。这些值位于所下载的驱动程序提供的 README 中。您可以使用 Qlogic BIOS 完成这些修改,在引导过程中出现提示符时使用 <ctrl>-q
可进入 Qlogic BIOS,或者使用 MSJ 工具 修改。设置如下:
- 主机适配器设置
- 高级适配器设置
- LUNs per target:0
- Enable target reset:Yes
- Port down retry count:12
安装 IBM Management Suite Java
IBM FAStT Management Suite Java(MSJ)是一个基于 Java 的 GUI 应用程序,可以管理存储服务器中的 HBA。这个工具可以用来进行配置和诊断。有关下载软件的链接,请参看 参考资料。
示例设置使用 CSM 将 MSJ 作为 GPFS 安装的一部分在每个存储节点上进行安装。这个二进制文件是包含 GPFS RPM 的 tar 文件的一部分,这个文件是在 CSM 节点安装过程中由 CFS 进行分发的。由一个 post 脚本解压这个 tar 文件,接着运行 tar 文件里面包含的安装脚本。本文的示例在这次安装中使用了 32 位的 FAStT MSJ 来防止在安装 64 位版本时可能出现的问题。示例脚本使用了下面的命令安装 MSJ: