181 lines
4.8 KiB
Markdown
181 lines
4.8 KiB
Markdown
|
# Узлы вычислительного кластера
|
|||
|
|
|
|||
|
|
Вычислительные узлы кластера ВолгГТУ работают на базе операционной системы `Rocky 8` версий `8.8` и `8.10` (эта информация будет обновлена после полного перехода на `Rocky 8.10`)
|
|||
|
|
|
|||
|
|
## Головной узел
|
|||
|
|
|
|||
|
|
Точкой входа вычислительного кластера является головной узел `headnode` расположенный по адресу `79.170.167.30` или `cluster.vstu.ru`, он является также хранилищем домашнего раздела `/home` и раздела с програмным обеспечением `/opt` которые подключенны ко всем узлам.
|
|||
|
|
|
|||
|
|
__Аппаратное обеспечение:__
|
|||
|
|
|
|||
|
|
CPU: `2xAMD Opteron Processor 6272`
|
|||
|
|
|
|||
|
|
RAM: `64 Гб DDR3`
|
|||
|
|
|
|||
|
|
Дисковая подсистема:
|
|||
|
|
|
|||
|
|
`/`: `512 Гб SSD`
|
|||
|
|
|
|||
|
|
`/home` и `/opt`: `4x4Tb HDD RAID5 (12 Тб)`
|
|||
|
|
|
|||
|
|
Сопроцессоры: нет
|
|||
|
|
|
|||
|
|
`RAID5` используется с целью исключения потери данных при отказе одного из дисков.
|
|||
|
|
|
|||
|
|
Головной узел не является вычислительным, пусть и имеет достаточно мощный (когда-то) процессор.
|
|||
|
|
|
|||
|
|
## Основные вычислительные узлы
|
|||
|
|
|
|||
|
|
Вычислительные узлы являются неоднородными (гетерогенными) так как покупались в различное время и собирались в единый кластер по мере поступления. Потому они поделены на различные группы, которые будут расписаны далее.
|
|||
|
|
|
|||
|
|
Группы узлов определены сопоставимой процессорной производительностью.
|
|||
|
|
|
|||
|
|
<blockquote>
|
|||
|
|
|
|||
|
|
Пояснение для пользователей slurm:
|
|||
|
|
|
|||
|
|
Если вы видите узлы сведённые в группу `intelv3` то чтобы поставить на них задачу, требуется обратиться к `intelv3-batch`
|
|||
|
|
|
|||
|
|
</blockquote>
|
|||
|
|
|
|||
|
|
----------
|
|||
|
|
|
|||
|
|
### intelv3
|
|||
|
|
|
|||
|
|
Узлы `intelv3` имеют следующие адреса внутри сети
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
node40 (находится в монопольном использовании)
|
|||
|
|
node41
|
|||
|
|
node42
|
|||
|
|
node43
|
|||
|
|
node44
|
|||
|
|
node45
|
|||
|
|
node46
|
|||
|
|
node47
|
|||
|
|
node48
|
|||
|
|
node49 (временно не работает)
|
|||
|
|
node50
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
__Аппаратное обеспечение:__
|
|||
|
|
|
|||
|
|
CPU: `2xIntel Xeon CPU E5-2650 v3 @ 2.30GHz` 20 ядер, 24 потоков
|
|||
|
|
|
|||
|
|
RAM: `128 Гб DDR4`
|
|||
|
|
|
|||
|
|
Дисковая подсистема:
|
|||
|
|
|
|||
|
|
`/`: `512 Гб SSD`
|
|||
|
|
|
|||
|
|
Сопроцессоры:
|
|||
|
|
|
|||
|
|
`RTX 3060 (12 Гб)` для узлов 41-49
|
|||
|
|
|
|||
|
|
`Nvidia P100 (12 Гб)` для узла 50
|
|||
|
|
|
|||
|
|
----------
|
|||
|
|
|
|||
|
|
### intelv4
|
|||
|
|
|
|||
|
|
Узлы `intelv4` имеют следующие адреса внутри сети
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
node51
|
|||
|
|
node52
|
|||
|
|
node53
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
__Аппаратное обеспечение:__
|
|||
|
|
|
|||
|
|
CPU: `2xIntel Xeon CPU E5-2650 v4 @ 2.20GHz` 24 ядра, 24 потока
|
|||
|
|
|
|||
|
|
RAM: `256 Гб DDR4`
|
|||
|
|
|
|||
|
|
Дисковая подсистема:
|
|||
|
|
|
|||
|
|
`/`: `512 Гб SSD`
|
|||
|
|
|
|||
|
|
Сопроцессоры: нет
|
|||
|
|
|
|||
|
|
----------
|
|||
|
|
|
|||
|
|
### knl
|
|||
|
|
|
|||
|
|
Узлы `knl` имеют следующие адреса внутри сети
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
node32
|
|||
|
|
node33
|
|||
|
|
node34
|
|||
|
|
node35
|
|||
|
|
node36
|
|||
|
|
node37
|
|||
|
|
node38
|
|||
|
|
node39
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
__Аппаратное обеспечение:__
|
|||
|
|
|
|||
|
|
CPU: `Intel Xeon Phi CPU 7210 @ 1.30GHz` 64 ядра, 256 потоков
|
|||
|
|
|
|||
|
|
RAM: `192 Гб DDR4 + 16 Гб GDDR5`
|
|||
|
|
|
|||
|
|
Дисковая подсистема:
|
|||
|
|
|
|||
|
|
`/`: `192 Гб SSD`
|
|||
|
|
|
|||
|
|
Сопроцессоры: нет
|
|||
|
|
|
|||
|
|
----------
|
|||
|
|
|
|||
|
|
### special
|
|||
|
|
|
|||
|
|
Узлы `special` имеют следующие адреса внутри сети
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
node30
|
|||
|
|
node31
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
__Аппаратное обеспечение:__
|
|||
|
|
|
|||
|
|
CPU: `Intel Xeon CPU E5-2660 0 @ 2.20GHz` 16 ядер, 16 потоков
|
|||
|
|
|
|||
|
|
RAM: `128 Гб DDR3`
|
|||
|
|
|
|||
|
|
Дисковая подсистема:
|
|||
|
|
|
|||
|
|
`/`: `512 Гб SSD`
|
|||
|
|
|
|||
|
|
Сопроцессоры: `3x RTX 3060`
|
|||
|
|
|
|||
|
|
Узлы с наибольшей производительностью для GPU интенсивных задач с одинарной точностью.
|
|||
|
|
|
|||
|
|
----------
|
|||
|
|
|
|||
|
|
### gold
|
|||
|
|
|
|||
|
|
Узел `gold` имеют следующий адрес внутри сети
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
node54
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
__Аппаратное обеспечение:__
|
|||
|
|
|
|||
|
|
CPU: `Intel Xeon Gold 6130 CPU @ 2.10GHz` 32 ядра, 32 потока
|
|||
|
|
|
|||
|
|
RAM: `256 Гб DDR4`
|
|||
|
|
|
|||
|
|
Дисковая подсистема:
|
|||
|
|
|
|||
|
|
`/`: `380 Гб SSD NVMe`
|
|||
|
|
|
|||
|
|
`/storage`: `4x4Tb HDD RAID5 (12 Тб)`
|
|||
|
|
|
|||
|
|
`/data`: `4x4Tb HDD RAID5 (12 Тб)`
|
|||
|
|
|
|||
|
|
Сопроцессоры: `2x Nvidia V100 (16 Гб)`
|
|||
|
|
|
|||
|
|
Узел с наибольшей производительностью для GPU интенсивных задач с двойной точностью.
|