meta data stránky
  •  

Rozdíly

Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.

Odkaz na výstup diff

Obě strany předchozí revizePředchozí verze
Následující verze		Předchozí verze
computing:cluster:hardware:start [2022/02/02 16:24] – Jan Pechcomputing:cluster:hardware:start [2025/05/07 09:16] (aktuální) – [KRAKEN - Hardware] Jan Pech
Řádek 5: Řádek 5:
  
 Cluster KRAKEN je složen z **administrativního uzlu** (přístup, ovládání front, příprava úloh, ...) Cluster KRAKEN je složen z **administrativního uzlu** (přístup, ovládání front, příprava úloh, ...)
 +
 +**Platí zákaz obsazování administrativního uzlu výpočetními úlohami!**
 +
  
 ^  Procesor:|[[https://www.amd.com/en/products/cpu/amd-epyc-7302p|AMD EPYC 7302P 16-Core Processor]] |<sub>16 jader, 3.0GHz, hyperthreading, 128MB cache</sub>| ^  Procesor:|[[https://www.amd.com/en/products/cpu/amd-epyc-7302p|AMD EPYC 7302P 16-Core Processor]] |<sub>16 jader, 3.0GHz, hyperthreading, 128MB cache</sub>|
-^  Paměť:|64GB|<sub>DDR4 3200 ECC</sub>|+^  Paměť:|320GB|<sub>DDR4 3200 ECC</sub>|
 ^  Disky:|2x 960GB| <sub>NVMe M.2 SSD</sub>| ^  Disky:|2x 960GB| <sub>NVMe M.2 SSD</sub>|
 ^  Vzdálená správa:|IPMI  |<sub>KVM-o-E</sub> | ^  Vzdálená správa:|IPMI  |<sub>KVM-o-E</sub> |
Řádek 14: Řádek 17:
  
 === M - jako MultiCore === === M - jako MultiCore ===
-Část M obsahuje celkem **9 výpočetních uzlů** (celkem 480 jader, 2.56TB RAM). Z toho **6 uzlů** (kraken-m1, ..., kraken-m6) s touto specifikací:+Část M obsahuje celkem **10 výpočetních uzlů** (celkem 576 jader, 3.33TB RAM) postavených na třech architekturách procesorů: 
 + 
 +**1. Intel - broadwell**,  6 uzlů (kraken-m1, ..., kraken-m6):
 ^  Základní deska:|[[https://www.supermicro.nl/products/motherboard/Xeon/C600/X10DRW-ET.cfm|SUPERMICRO X10DRW-ET]]  |<sub>2x Intel Xeon processor E5-2600 v4, max. 2TB RAM, 2x 10 Gbit Ethernet, Remote management</sub>  | ^  Základní deska:|[[https://www.supermicro.nl/products/motherboard/Xeon/C600/X10DRW-ET.cfm|SUPERMICRO X10DRW-ET]]  |<sub>2x Intel Xeon processor E5-2600 v4, max. 2TB RAM, 2x 10 Gbit Ethernet, Remote management</sub>  |
-^  Procesory:|2x [[https://ark.intel.com/products/91766/Intel-Xeon-Processor-E5-2683-v4-40M-Cache-2_10-GHz|Intel(R) Xeon(R) CPU E5-2683 v4 @ 2.10GHz]] |<sub>**16 jader, hyperthreading, 48MB cache**</sub>  | +^  Procesory:|2x [[https://ark.intel.com/products/91766/Intel-Xeon-Processor-E5-2683-v4-40M-Cache-2_10-GHz|Intel(R) Xeon(R) CPU E5-2683 v4 @ 2.10-3.0GHz]] |<sub>**16 jader, hyperthreading, 48MB cache**</sub>  | 
-^  Paměť:|256GB na 1 nod  |<sub>DDR4 2400 ECC reg. </sub> |+^  Paměť:|256GB na 1 nod  |<sub>DDR4 2400MHz ECC reg. </sub> |
 ^  Disky:|4x 6TB SATA, 2x1TB SSD  |<sub> [[https://toshiba.semicon-storage.com/us/product/storage-products/enterprise-hdd/mg04acaxxxx.html|TOSHIBA MG04ACA6]],  [[ https://www.micron.com/parts/solid-state-storage/ssd/mtfddak960tcc-1ar16ab?pc={BD70429E-50BD-4D5C-A386-3E2D4143F5B3}|Micron_5100_MTFD]]</sub>  | ^  Disky:|4x 6TB SATA, 2x1TB SSD  |<sub> [[https://toshiba.semicon-storage.com/us/product/storage-products/enterprise-hdd/mg04acaxxxx.html|TOSHIBA MG04ACA6]],  [[ https://www.micron.com/parts/solid-state-storage/ssd/mtfddak960tcc-1ar16ab?pc={BD70429E-50BD-4D5C-A386-3E2D4143F5B3}|Micron_5100_MTFD]]</sub>  |
 ^  Vzdálená správa:|IPMI  |<sub>IPMI 2.0 with virtual media over LAN and KVM-over-LAN support</sub>  | ^  Vzdálená správa:|IPMI  |<sub>IPMI 2.0 with virtual media over LAN and KVM-over-LAN support</sub>  |
  
-a **3 nové uzly** (kraken-m7,...,kraken-m9) v provozu od 10/2021 se specifikací: +**2. AMD - zen 2**, 3 uzly (kraken-x1,...,kraken-x3), v provozu od 10/2021: 
-^  Procesory:|2x [[https://www.amd.com/en/products/cpu/amd-epyc-7552|2nd Gen AMD EPYC(TM) 7552]] |<sub>**48 jader, 2.2GHz, 192MB cache** (96 jader na 1 nod)</sub> | +^  Procesory:|2x [[https://www.amd.com/en/products/cpu/amd-epyc-7552|2nd Gen AMD EPYC(TM) 7552]] |<sub>**48 jader, 2.2-3.3GHz, 192MB cache** (96 jader na 1 nod)</sub> | 
-^  Paměť:|2 uzly 256GB, 1 uzel **512GB** |<sub>DDR4 3200 ECC</sub> |+^  Paměť:|512GB na 1 nod  |<sub>DDR4 3200MHz ECC</sub> |
 ^  Disky:|960GB na 1 nod  |<sub>NVMe M.2 SSD</sub> | ^  Disky:|960GB na 1 nod  |<sub>NVMe M.2 SSD</sub> |
 +^  Vzdálená správa:|IPMI  |<sub>KVM-o-E</sub> |
 +
 +**3. AMD - zen 4**, 1 uzel (kraken-x4), v provozu od 11/2023:
 +^  Procesory:|1x [[https://www.amd.com/en/products/cpu/amd-epyc-9654p|4nd Gen AMD EPYC(TM) 9654P]] |<sub>**96 jader, 2.4-3.7GHz, 384MB cache**</sub> |
 +^  Paměť:|256GB |<sub>DDR5 4800MHz ECC</sub> |
 +^  Disky:|960GB |<sub>NVMe M.2 SSD</sub> |
 ^  Vzdálená správa:|IPMI  |<sub>KVM-o-E</sub> | ^  Vzdálená správa:|IPMI  |<sub>KVM-o-E</sub> |
  
Řádek 34: Řádek 45:
 ^  Disky:|4x 6TB SATA, 2x1TB SSD  |<sub> [[https://toshiba.semicon-storage.com/us/product/storage-products/enterprise-hdd/mg04acaxxxx.html|TOSHIBA MG04ACA6]], [[ https://www.micron.com/parts/solid-state-storage/ssd/mtfddak960tcc-1ar16ab?pc={BD70429E-50BD-4D5C-A386-3E2D4143F5B3}|Micron_5100_MTFD]]</sub>  | ^  Disky:|4x 6TB SATA, 2x1TB SSD  |<sub> [[https://toshiba.semicon-storage.com/us/product/storage-products/enterprise-hdd/mg04acaxxxx.html|TOSHIBA MG04ACA6]], [[ https://www.micron.com/parts/solid-state-storage/ssd/mtfddak960tcc-1ar16ab?pc={BD70429E-50BD-4D5C-A386-3E2D4143F5B3}|Micron_5100_MTFD]]</sub>  |
 ^  Vzdálená správa:|IPMI  |<sub>IPMI 2.0 with virtual media over LAN and KVM-over-LAN support</sub>  | ^  Vzdálená správa:|IPMI  |<sub>IPMI 2.0 with virtual media over LAN and KVM-over-LAN support</sub>  |
 +
 +
 +== Teplota v serverovně ==
 +{{ https://eye.it.cas.cz/g/?.png? |Temperature TR1}}
 +Omezení výkonu clusteru dle teploty v serverovně:
 +  - 32˚C - 34˚C omezovat spouštění dalších úloh ve frontách (režim DRAIN)
 +  - 34˚C - 36˚C vypínat stroje (režim DOWN)
 +
 +Omezování (DRAIN) provádět nejprve na strojích, na kterých mají úlohy brzy doběhnout.
 +
 +Vypínat (DOWN) nejprve stroje na nichž běží úlohy s nižším poměrem "doba běhu/deklarovaná doba běhu"
 +
 +V delších obdobích problémů s vysokými teplotami ponechat části clusteru odstavené v pořadí
 +  - nody m1-m6
 +  - nody l1-l4
 +  - nody m7-m10