[[computing:cluster:|{{:up1.png?direct|}}]]
[[computing:cluster:|Cluster KRAKEN]]

====== KRAKEN - Hardware ======

Cluster KRAKEN je složen z **administrativního uzlu** (přístup, ovládání front, příprava úloh, ...)

**Platí zákaz obsazování administrativního uzlu výpočetními úlohami!**


^  Procesor:|[[https://www.amd.com/en/products/cpu/amd-epyc-7302p|AMD EPYC 7302P 16-Core Processor]] |<sub>16 jader, 3.0GHz, hyperthreading, 128MB cache</sub>|
^  Paměť:|320GB|<sub>DDR4 3200 ECC</sub>|
^  Disky:|2x 960GB| <sub>NVMe M.2 SSD</sub>|
^  Vzdálená správa:|IPMI  |<sub>KVM-o-E</sub> |

a dvou výpočetních částí (všem uživatelům je přístupná jen část "M"):

=== M - jako MultiCore ===
Část M obsahuje celkem **10 výpočetních uzlů** (celkem 576 jader, 3.33TB RAM) postavených na třech architekturách procesorů:

**1. Intel - broadwell**,  6 uzlů (kraken-m1, ..., kraken-m6):
^  Základní deska:|[[https://www.supermicro.nl/products/motherboard/Xeon/C600/X10DRW-ET.cfm|SUPERMICRO X10DRW-ET]]  |<sub>2x Intel Xeon processor E5-2600 v4, max. 2TB RAM, 2x 10 Gbit Ethernet, Remote management</sub>  |
^  Procesory:|2x [[https://ark.intel.com/products/91766/Intel-Xeon-Processor-E5-2683-v4-40M-Cache-2_10-GHz|Intel(R) Xeon(R) CPU E5-2683 v4 @ 2.10-3.0GHz]] |<sub>**16 jader, hyperthreading, 48MB cache**</sub>  |
^  Paměť:|256GB na 1 nod  |<sub>DDR4 2400MHz ECC reg. </sub> |
^  Disky:|4x 6TB SATA, 2x1TB SSD  |<sub> [[https://toshiba.semicon-storage.com/us/product/storage-products/enterprise-hdd/mg04acaxxxx.html|TOSHIBA MG04ACA6]],  [[ https://www.micron.com/parts/solid-state-storage/ssd/mtfddak960tcc-1ar16ab?pc={BD70429E-50BD-4D5C-A386-3E2D4143F5B3}|Micron_5100_MTFD]]</sub>  |
^  Vzdálená správa:|IPMI  |<sub>IPMI 2.0 with virtual media over LAN and KVM-over-LAN support</sub>  |

**2. AMD - zen 2**, 3 uzly (kraken-x1,...,kraken-x3), v provozu od 10/2021:
^  Procesory:|2x [[https://www.amd.com/en/products/cpu/amd-epyc-7552|2nd Gen AMD EPYC(TM) 7552]] |<sub>**48 jader, 2.2-3.3GHz, 192MB cache** (96 jader na 1 nod)</sub> |
^  Paměť:|512GB na 1 nod  |<sub>DDR4 3200MHz ECC</sub> |
^  Disky:|960GB na 1 nod  |<sub>NVMe M.2 SSD</sub> |
^  Vzdálená správa:|IPMI  |<sub>KVM-o-E</sub> |

**3. AMD - zen 4**, 1 uzel (kraken-x4), v provozu od 11/2023:
^  Procesory:|1x [[https://www.amd.com/en/products/cpu/amd-epyc-9654p|4nd Gen AMD EPYC(TM) 9654P]] |<sub>**96 jader, 2.4-3.7GHz, 384MB cache**</sub> |
^  Paměť:|256GB |<sub>DDR5 4800MHz ECC</sub> |
^  Disky:|960GB |<sub>NVMe M.2 SSD</sub> |
^  Vzdálená správa:|IPMI  |<sub>KVM-o-E</sub> |

=== L - jako LowCore (dostupná jen vybraným uživatelům)===
Část L obsahuje **4 uzly** (kraken-l1,...,kraken-l4):
^  Základní deska:|[[https://www.supermicro.nl/products/motherboard/Xeon/C600/X10DRW-ET.cfm|SUPERMICRO X10DRW-ET]]  |<sub>2x Intel Xeon processor E5-2600 v4, max. 2TB RAM, 2x 10 Gbit Ethernet, Remote management</sub>  |
^  Procesory:|2x [[https://ark.intel.com/products/92983/Intel-Xeon-Processor-E5-2637-v4-15M-Cache-3_50-GHz|Intel(R) Xeon(R) CPU E5-2637 v4 @ 3.50GHz]] |<sub>**4 jádra, hyperthreading, 16MB cache**</sub>  |
^  Paměť:|256GB na 1 nod  |<sub>DDR4 2400 ECC reg. </sub> |
^  Disky:|4x 6TB SATA, 2x1TB SSD  |<sub> [[https://toshiba.semicon-storage.com/us/product/storage-products/enterprise-hdd/mg04acaxxxx.html|TOSHIBA MG04ACA6]], [[ https://www.micron.com/parts/solid-state-storage/ssd/mtfddak960tcc-1ar16ab?pc={BD70429E-50BD-4D5C-A386-3E2D4143F5B3}|Micron_5100_MTFD]]</sub>  |
^  Vzdálená správa:|IPMI  |<sub>IPMI 2.0 with virtual media over LAN and KVM-over-LAN support</sub>  |


== Teplota v serverovně ==
{{ https://eye.it.cas.cz/g/?.png? |Temperature TR1}}
Omezení výkonu clusteru dle teploty v serverovně:
  - 32˚C - 34˚C omezovat spouštění dalších úloh ve frontách (režim DRAIN)
  - 34˚C - 36˚C vypínat stroje (režim DOWN)

Omezování (DRAIN) provádět nejprve na strojích, na kterých mají úlohy brzy doběhnout.

Vypínat (DOWN) nejprve stroje na nichž běží úlohy s nižším poměrem "doba běhu/deklarovaná doba běhu"

V delších obdobích problémů s vysokými teplotami ponechat části clusteru odstavené v pořadí
  - nody m1-m6
  - nody l1-l4
  - nody m7-m10