meta data stránky
  •  

Rozdíly

Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.

Odkaz na výstup diff

Obě strany předchozí revizePředchozí verze
Následující verze		Předchozí verze
computing:cluster:hardware:start [2015/02/25 11:41] – [Komponenty clusteru] Jan Masákcomputing:cluster:hardware:start [2025/05/07 09:16] (aktuální) – [KRAKEN - Hardware] Jan Pech
Řádek 1: Řádek 1:
-====== Hardware clusteru ====== +[[computing:cluster:|{{:up1.png?direct|}}]] 
-Cluster je postaven na bázi mini blade řešení **Superserver Twin<sup>2</sup>** společnosti [[http://www.supermicro.com|Supermicro]]. Toto řešení umožňuje vysokou hustotu procesorů s nízkou náročností +[[computing:cluster:|Cluster KRAKEN]] 
-na napájení a vysokou dostupností díky redundantnímu napájení. + 
-===== Komponenty clusteru ===== +====== KRAKEN - Hardware ====== 
-^  Chassis:|[[http://www.supermicro.com/products/system/2u/6026/sys-6026tt-bibqrf.cfm|SUPERMICRO SYS-6026TT-BIBQRF]]  |<sub>4x 2socketový MB, 12x 3.5" SATA disk</sub>  | + 
-^  Zdroje:|1400W   |<sub>high-efficiency (1+1) redundant power supply with PMBus</sub>  | +Cluster KRAKEN je složen z **administrativního uzlu** (přístup, ovládání front, příprava úloh, ...) 
-^  Základní desky:|[[http://www.supermicro.com/products/motherboard/QPI/5500/X8DTT-IBQF.cfm|SUPERMICRO X8DTT-IBQF]]  |<sub>2x Intel Xeon processor 5600/5500, max. 192GB RAM, Infiniband 40Gb, 2x Gbit Ethernet, Remote management</sub>  | + 
-^  Procesory:|2x [[http://ark.intel.com/products/52581/Intel-Xeon-Processor-E5649-12M-Cache-2_53-GHz-5_86-GTs-Intel-QPI|Intel Xeon E5649]] 2.53GHz na 1 nod  |<sub>6 jader, hyperthreading, 12MB cache</sub>  | +**Platí zákaz obsazování administrativního uzlu výpočetními úlohami!** 
-^  Paměť:|72GB na 1 nod  |<sub>DDR3 1333 ECC reg. CL9 **(na nodu A je 96GB)**</sub> | + 
-^  Disky:|5x 1TB SATA  |<sub>Seagate ST31000524AS</sub>  |+ 
 +^  Procesor:|[[https://www.amd.com/en/products/cpu/amd-epyc-7302p|AMD EPYC 7302P 16-Core Processor]] |<sub>16 jader, 3.0GHz, hyperthreading, 128MB cache</sub>| 
 +^  Paměť:|320GB|<sub>DDR4 3200 ECC</sub>| 
 +^  Disky:|2x 960GB| <sub>NVMe M.2 SSD</sub>| 
 +^  Vzdálená správa:|IPMI  |<sub>KVM-o-E</sub> | 
 + 
 +a dvou výpočetních částí (všem uživatelům je přístupná jen část "M"): 
 + 
 +=== M - jako MultiCore === 
 +Část M obsahuje celkem **10 výpočetních uzlů** (celkem 576 jader, 3.33TB RAM) postavených na třech architekturách procesorů: 
 + 
 +**1. Intel - broadwell**,  6 uzlů (kraken-m1, ..., kraken-m6): 
 +^  Základní deska:|[[https://www.supermicro.nl/products/motherboard/Xeon/C600/X10DRW-ET.cfm|SUPERMICRO X10DRW-ET]]  |<sub>2x Intel Xeon processor E5-2600 v4, max. 2TB RAM, 2x 10 Gbit Ethernet, Remote management</sub>  | 
 +^  Procesory:|2x [[https://ark.intel.com/products/91766/Intel-Xeon-Processor-E5-2683-v4-40M-Cache-2_10-GHz|Intel(R) Xeon(R) CPU E5-2683 v4 @ 2.10-3.0GHz]] |<sub>**16 jader, hyperthreading, 48MB cache**</sub>  | 
 +^  Paměť:|256GB na 1 nod  |<sub>DDR4 2400MHz ECC reg. </sub> | 
 +^  Disky:|4x 6TB SATA, 2x1TB SSD  |<sub> [[https://toshiba.semicon-storage.com/us/product/storage-products/enterprise-hdd/mg04acaxxxx.html|TOSHIBA MG04ACA6]],  [[ https://www.micron.com/parts/solid-state-storage/ssd/mtfddak960tcc-1ar16ab?pc={BD70429E-50BD-4D5C-A386-3E2D4143F5B3}|Micron_5100_MTFD]]</sub>  | 
 +^  Vzdálená správa:|IPMI  |<sub>IPMI 2.0 with virtual media over LAN and KVM-over-LAN support</sub>  | 
 + 
 +**2. AMD - zen 2**, 3 uzly (kraken-x1,...,kraken-x3), v provozu od 10/2021: 
 +^  Procesory:|2x [[https://www.amd.com/en/products/cpu/amd-epyc-7552|2nd Gen AMD EPYC(TM) 7552]] |<sub>**48 jader, 2.2-3.3GHz, 192MB cache** (96 jader na 1 nod)</sub> | 
 +^  Paměť:|512GB na 1 nod  |<sub>DDR4 3200MHz ECC</sub> | 
 +^  Disky:|960GB na 1 nod  |<sub>NVMe M.2 SSD</sub> | 
 +^  Vzdálená správa:|IPMI  |<sub>KVM-o-E</sub> | 
 + 
 +**3. AMD - zen 4**, 1 uzel (kraken-x4), v provozu od 11/2023: 
 +^  Procesory:|1x [[https://www.amd.com/en/products/cpu/amd-epyc-9654p|4nd Gen AMD EPYC(TM) 9654P]] |<sub>**96 jader, 2.4-3.7GHz, 384MB cache**</sub> | 
 +^  Paměť:|256GB |<sub>DDR5 4800MHz ECC</sub> | 
 +^  Disky:|960GB |<sub>NVMe M.2 SSD</sub> | 
 +^  Vzdálená správa:|IPMI  |<sub>KVM-o-E</sub> | 
 + 
 +=== L - jako LowCore (dostupná jen vybraným uživatelům)=== 
 +Část L obsahuje **4 uzly** (kraken-l1,...,kraken-l4): 
 +^  Základní deska:|[[https://www.supermicro.nl/products/motherboard/Xeon/C600/X10DRW-ET.cfm|SUPERMICRO X10DRW-ET]]  |<sub>2x Intel Xeon processor E5-2600 v4, max. 2TB RAM, 2x 10 Gbit Ethernet, Remote management</sub>  | 
 +^  Procesory:|2x [[https://ark.intel.com/products/92983/Intel-Xeon-Processor-E5-2637-v4-15M-Cache-3_50-GHz|Intel(R) Xeon(R) CPU E5-2637 v4 @ 3.50GHz]] |<sub>**4 jádra, hyperthreading, 16MB cache**</sub>  | 
 +^  Paměť:|256GB na 1 nod  |<sub>DDR4 2400 ECC reg. </sub> | 
 +^  Disky:|4x 6TB SATA, 2x1TB SSD  |<sub> [[https://toshiba.semicon-storage.com/us/product/storage-products/enterprise-hdd/mg04acaxxxx.html|TOSHIBA MG04ACA6]], [[ https://www.micron.com/parts/solid-state-storage/ssd/mtfddak960tcc-1ar16ab?pc={BD70429E-50BD-4D5C-A386-3E2D4143F5B3}|Micron_5100_MTFD]]</sub>  |
 ^  Vzdálená správa:|IPMI  |<sub>IPMI 2.0 with virtual media over LAN and KVM-over-LAN support</sub>  | ^  Vzdálená správa:|IPMI  |<sub>IPMI 2.0 with virtual media over LAN and KVM-over-LAN support</sub>  |
-^  Infiniband switch:|[[http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=89&menu_section=49|Mellanox IS5022Q]]  |<sub>8 portů, 40 Gb/s, managed</sub>  | 
  
- --- //[[pavel@it.cas.cz|Pavel Formánek]] 22.03. 2012 14:22// 
  
 +== Teplota v serverovně ==
 +{{ https://eye.it.cas.cz/g/?.png? |Temperature TR1}}
 +Omezení výkonu clusteru dle teploty v serverovně:
 +  - 32˚C - 34˚C omezovat spouštění dalších úloh ve frontách (režim DRAIN)
 +  - 34˚C - 36˚C vypínat stroje (režim DOWN)
  
 +Omezování (DRAIN) provádět nejprve na strojích, na kterých mají úlohy brzy doběhnout.
  
 +Vypínat (DOWN) nejprve stroje na nichž běží úlohy s nižším poměrem "doba běhu/deklarovaná doba běhu"
  
 +V delších obdobích problémů s vysokými teplotami ponechat části clusteru odstavené v pořadí
 +  - nody m1-m6
 +  - nody l1-l4
 +  - nody m7-m10