安装大型Linux集群(4):节点安装和 GPFS 集群配置

启用配额

上面 mmcrfs 命令的 -Q 标志在 /gpfs 文件系统上启用配额。可以为每个用户或组用户定义配额。默认配额已经进行了设置，可以适用于任何新用户或组。可以使用命令 mmdefquotaon 启用默认配额。使用 mmdefedquota 命令编辑默认配额。这个命令打开了一个编辑窗口，其中可以指定配额的范围。下面的示例演示了配额范围的设置：

gpfs: blocks in use: 0K, limits (soft = 1048576K, hard = 2097152K)
                                        inodes in use: 0, limits (soft = 0, hard = 0)

使用 mmedquota –u <username> 命令可以为一个用户或组编辑特定配额。用户可以使用命令 mmlsquota 显示自己的配额。超级用户可以使用 mmrepquota gpfs 命令显示文件系统的配额状态。

调优

这个集群经过配置后，当服务器引导时，使用 mmchconfig autoload=yes 命令在 /etc/inittab 中添加一项，GPFS 就可以自动启动。

使用 GPFS pagepool 可以缓存用户数据和文件系统元数据。pagepool 机制允许 GPFS 将读请求与写请求异步实现。增加 pagepool 的大小可以增大 GPFS 可以缓存的数据或元数据量，而不需要执行同步 I/O。 pagepool 的默认值是 64 MB。最大 GPFS pagepool 大小是 8 GB。所允许的最小值是 4 MB。在 Linux 系统上， pagepool 的最大值是计算机物理内存的一半

pagepool 的理想大小取决于应用程序以及对其重新访问的数据的有效缓存的需要。如果系统中的应用程序可以访问大型文件、重用数据、可以从 GPFS 数据预取获益或具有随机 I/O 模式，增加 pagepool 的值可能会进一步获益。然而，如果该值设置得太大，那么 GPFS 就无法启动。

对于示例集群来说，集群中所有节点的 pagepool 所使用的值都是 512 MB。

优化网络设置

要对网络性能进行优化，GPFS 通过将存储网络适配器的 MTU 的大小设置为 9000 来启用巨帧。始终启用 /proc/sys/net/ipv4/tcp_window_scaling，因为这是默认设置。TCP 窗口设置在安装时使用 CSM 脚本进行了调优，方法是将下面几行添加到 NSD 服务器和 NSD 客户机的 /etc/sysctl.conf 文件中：

# increase Linux TCP buffer limits
net.core.rmem_max = 8388608
net.core.wmem_max = 8388608
# increase default and maximum Linux TCP buffer sizes
net.ipv4.tcp_rmem = 4096 262144 8388608
net.ipv4.tcp_wmem = 4096 262144 8388608
# increase max backlog to avoid dropped packets
net.core.netdev_max_backlog=2500
      

配置 DS4500 设置

存储服务器缓存设置如果设置错误，可能会影响 GPFS 性能。本例在 DS4500s 上使用了以下设置，这也是 GPFS 文档的推荐设置：

• Read cache：启用
• Read ahead multiplier：0
• Write cache：禁用
• Write cache mirroring：禁用
• Cache block size：16K

结束语

就是这样！您应该已经按照本系列文章中的例子成功安装了一个大型的 Linux 集群。在自己的安装中应用这些原则就可以成功安装另外一个大型 Linux 集群。