Подробный гайд: Узнайте, как включить Sub-NUMA Clustering на сервере Dell PowerEdge R770

Подробный гайд: Узнайте, как включить Sub-NUMA Clustering на сервере Dell PowerEdge R770 Включение Sub-NUMA Clustering (SNC) на сервере Dell PowerEdge R770 (который построен на базе новейших процессоров Intel Xeon 6) позволяет разделить кэш L3 и контроллеры памяти внутри одного физического сокета на несколько логических кластеров (NUMA-узлов). Это существенно снижает задержки при обращении к локальной памяти и повышает производительность баз данных, HPC-задач и плотной виртуализации (VMware ESXi, Proxmox, Hyper-V).

Подготовка (Важно!)

1. Правила установки памяти:

Для корректной работы SNC планки оперативной памяти должны быть установлены симметрично во всех каналах обоих процессоров. Если память установлена "вразнобой", BIOS может не дать включить SNC или выдаст ошибку.

2. Node Interleaving:

Функция Node Interleaving (Чересстрочное чередование узлов) должна быть отключена. Если она включена, SNC работать не будет, так как память будет объединена в единое пространство (UMA).

3. Обновление прошивок:

Перед изменением архитектурных настроек убедитесь, что у вас установлена актуальная версия BIOS и iDRAC.

Способ 1: Включение через интерфейс BIOS (F2)

Этот способ подходит, если у вас есть прямой доступ к серверу (монитор и клавиатура) или вы используете виртуальную консоль (Virtual Console) в iDRAC.

1. Перезагрузите сервер Dell PowerEdge R770.
2. Во время прохождения POST-экрана (когда появится логотип Dell) нажмите клавишу F2, чтобы войти в System Setup.
3. В главном меню System Setup выберите System BIOS.
4. Прокрутите вниз и найдите раздел Processor Settings (Настройки процессора). Нажмите на него.
5. Найдите параметр Sub NUMA Cluster (SNC) (в некоторых версиях BIOS может называться NUMA Nodes Per Socket).
6. Измените значение параметра:
   • Disabled — по умолчанию (1 NUMA-узел на 1 физический сокет).
   • SNC2 — делит каждый процессор на 2 NUMA-узла.
   • SNC3 — делит каждый процессор на 3 NUMA-узла (доступно для Xeon 6 Granite Rapids).
   • SNC4 — делит каждый процессор на 4 NUMA-узла.
   • Рекомендация: Для большинства современных задач и гипервизоров отлично подходит SNC2 или SNC3. Если выбрано значение SNC3/SNC4, убедитесь, что ваша ОС поддерживает такое дробление.
7. Убедитесь, что в этом же меню (Processor Settings) параметр Node Interleaving установлен в значение Disabled.
8. Нажмите Esc (или кнопку Back/Return в нижней части экрана), чтобы вернуться в главное меню System BIOS.
9. Нажмите кнопку Apply Changes (Применить изменения), а затем Exit (Выход).
10. Сервер перезагрузится.

Способ 2: Включение удаленно через Web-интерфейс iDRAC

Если сервер стоит в стойке и физический доступ к нему невозможен, все можно сделать через веб-интерфейс iDRAC (iDRAC9 или iDRAC10 в зависимости от версии прошивки R770).

1. Откройте браузер, введите IP-адрес iDRAC вашего сервера и авторизуйтесь (по умолчанию логин root, пароль calvin или указан на выдвижной бирке сервера).
2. В левом меню перейдите в раздел Configuration (Конфигурация) -> BIOS Settings (Настройки BIOS).
   • (В старых версиях iDRAC это: Overview -> Server -> Configuration -> BIOS Settings).
3. Найдите и раскройте категорию Processor Settings (Настройки процессора).
4. Найдите параметр Sub NUMA Cluster (SNC).
5. В выпадающем списке выберите нужное значение (например, SNC2, SNC3 или Enabled).
6. Там же проверьте параметр Node Interleaving — он должен быть Disabled.
7. Прокрутите вниз страницы и нажмите Apply (Применить).
8. Появится всплывающее окно. Выберите, когда применить настройки:
   • Apply and Reboot (Применить и перезагрузить немедленно).
   • Либо создастся задача (Job) в очереди, которая выполнится при следующей плановой перезагрузке сервера.

Как проверить, что SNC включился в ОС?

После перезагрузки сервера вам нужно убедиться, что операционная система или гипервизор увидели новые NUMA-узлы.

В Linux (ESXi shell, Ubuntu, RHEL, Proxmox):

Выполните команду:

lscpu | grep NUMA

Если у вас 2 физических процессора и вы включили SNC2, вывод должен показать NUMA node(s): 4 (вместо 2).

Также можно использовать утилиту numactl:

numactl --hardware

В Windows Server:

1. Скачайте утилиту Coreinfo из пакета Sysinternals (Microsoft).
2. Откройте командную строку от имени Администратора и выполните:

coreinfo -n

Утилита выведет карту NUMA-узлов. Вы увидите, что система распознала больше логических нод, чем физических процессоров.

В VMware ESXi:

1. Зайдите на хост по SSH или через консоль DCUI.
2. Выполните команду:

esxcli hardware cpu list | grep "NUMA Node"

Либо используйте утилиту esxtop, нажмите клавишу u (CPU panel) и посмотрите на колонки NMZ (покажет количество NUMA-узлов).

Возможные проблемы и нюансы R770:

* Не хватает памяти:

Если вы ставите SNC4 на процессоре с 2 физическими сокетами, ОС увидит 8 NUMA-узлов. Для корректной работы каждого узла требуется выделенный пул оперативной памяти. Если памяти мало (например, по 1-2 планки на процессор), включение SNC3 или SNC4 может привести к деградации производительности из-за постоянных межкластерных пересылок данных (Remote Memory Access).

* Асимметричная память:

Если при включении SNC сервер выдает ошибку при старте (Memory Configuration Error), проверьте, чтобы все DIMM-модули были одинакового объема и стояли в соответствующих цветовых слотах согласно инструкции Dell для процессоров Intel Xeon 6.

Мы делимся этой технической информацией, чтобы помочь вам в решении задач — используйте её с пониманием. Статья носит рекомендательный характер, поэтому, пожалуйста, применяйте описанные методы осмотрительно.