Clusters de Alto Rendimiento

Contenido: M. en A. Iliana Gómez Zúñiga Diseño: Lic. Genaro Ramirez [email protected] [email protected] Expositor: L.S.I. Virgilio Cervantes Pérez [email protected]

Porque Linux •  •  •  •  •  •  •  •  • 

1991

Nace Linux 1993

Samba 1993

Nace Tux 1997

Surgió el Proyecto KDE y el Proyecto Gnome Linux en otras plataformas como la Power PC de Macintosh, la Amiga, los IBM S/390, IBM RS-6000, los MIPS de Silicon Graphis, los Motorola 6800. Soportar cada vez más dispositivos, sobre todo aquellos que suele tener la PC hogareña, como tarjetas de sonido, tarjetas de captura de video, Se le agregaron capacidades para redes que le permitían ponerse a la par de routers, switches, y servicios que habitualmente se asociaban a máquinas Unix muy costosas. Embebido en un microprocesador, como el de un Palm Pilot. IBM ya lo puso en un reloj. 2001

Escritorios completamente viables.

Como han evolucionado las plataformas 2100

2100

2100

2100

2100

2100

2100

2100

? 2100

R E N D I M I E N T O

Clusters interplanetarios ??

Desktop

SuperCom -putadoras

Cluster Local

Cluster/Grid

Cluster/Grid Globales

¿Qué es un cluster? •  Los Cluster en computación son un colección de computadoras interconectadas de alguna manera, que trabajan en conjunto, distribuyéndose las tareas entre ellas, logrando que el usuario lo vea como una sola.

Otras definiciones de cluster •  Un cluster consiste en un conjunto de máquinas y un servidor de cluster dedicado, para realizar los relativamente infrecuentes accesos a los recursos de otros procesos, se accede al servidor de cluster de cada grupo

del libro Operating System Concepts de Silberschatz Galvin.

¿Cómo funciona un cluster?

Requerimientos Básicos •  Un cluster consta de por lo menos 2 o más nodos •  Los nodos de un cluster están conectados entre sí por al menos un canal de comunicación •  Los clusters necesitan software de control especializado

Homogeneidad de un cluster •  Homogéneos: formados por equipos de la misma arquitectura. Todos los nodos tienen una arquitectura y recursos similares, de manera que no existen muchas diferencias entre cada nodo. •  Heterogéneos: formados por nodos con distinciones que pueden estar en los siguientes puntos. Tiempos de acceso distintos •  Arquitectura distinta •  Sistema operativo distinto •  Rendimiento de los procesadores o recursos sobre una misma arquitectura distintos

¿Por qué construir un cluster? Cuando necesitamos que una aplicación o servicio disponga de : •  Alta Disponibilidad (High Availability ) •  Alta Confiabilidad (High Reliability ) •  Alto Rendimiento (High Performance)

Alta Disponibilidad (High Availability ) •  •  •  • 

Sistemas de información redundante Sistemas tolerantes a fallos Balanceo de carga entre varios servidores Balanceo de conexiones entre varios servidores

Alta Confiabilidad (High Reliability ) •  Generalmente este tipo de clusters suele ser utilizado para entornos de tipo empresarial y esta funcionalidad solamente puede ser efectuada por hardware especializado.

Alto Rendimiento (High Performance) •  •  •  •  • 

Cálculos matemáticos Renderizaciones de gráficos Compilación de programas Compresión de datos Descifrado de códigos

¿Con que construyo mi cluster? •  Opción I: son construidos en su totalidad usando hardware y software común y utilizando tecnología estándar como SCSI, tarjetas de red Ethernet etc.(más económicos). •  Opción II: construidos con hardware especial para lograr un mejor desempeño. (más caros).

Requiere Software como.. •  MPI •  PVM •  PBS

Top500 •  En la página de www.top500.org se publica dos veces por año la lista de las supercomputadoras más rápidas del mundo.

Top500 Rank

Site



Computer / Processors Manufacturer

Rmax

BlueGene/L eServer Blue Gene Solution / 65536 IBM

136800

MareNostrum JS20 Cluster, PPC 970, 2.2 GHz, Myrinet / 4800 IBM

27910

US Army Research Laboratory (ARL) United States/2004

John Von Neumann LNX Cluster, Xeon 3.4 GHz, Myrinet / 2048 Linux Networx

8770

29

Institute of Physical and Chemical Res. (RIKEN) Japan/2004

RIKEN Super Combined Cluster / 2048 Fujitsu

8728

30

Pacific Northwest National Laboratory United States/2003

Mpp2

8633



Country/Year

DOE/NNSA/LLNL United States/2005

Barcelona Supercomputer Center Spain/2005

1

5

28















Cluster Platform 6000 rx2600 Itanium2 1.5 GHz, Quadrics / 1936 Hewlett-Packard

34

Lawrence Livermore National Laboratory United States/2002

MCR Linux Cluster Xeon 2.4 GHz Quadrics / 2304 Linux Networx/Quadrics

7634

42

Lawrence Livermore National Laboratory United States/2003

xSeries Cluster Xeon 2.4 GHz Quadrics / 1920 IBM/Quadrics

6586

46

Grid Technology Research Center, AIST Japan/2004

AIST Super Cluster P-32 AIST Super Cluster P-32, Opteron 2.0 GHz, Myrinet / 2200 IBM

6155

75



DOE/Bettis Atomic Power Laboratory United States/2005





Atipa Cluster, Opteron, Myrinet / 1090 Atipa Technology

4035

Rpeak



183500

42144

13926



12534

11616



11060

9216

8800

5232

Estadisticas del 2002 •  Un total de 55 clusters de PCs basados en Intel y ocho en AMD estaban presentes en el TOP500. •  El número de clusters en el TOP500 creció a un total de 93 sistemas. Catorce de estos clusters se etiquetan como 'Auto construidos' al haber sido diseñados y ensamblados por los propios usuarios finales.

Aplicaciones corriendo en clusters •  •  •  •  •  • 

Simulaciones de biotecnología, Petroleras, Modelación de mercados financieros, Grandes cálculos matemáticos, Predicción del clima, Servidores de Internet.

Ejemplos •  Un negocio en Internet que recibe millones de peticiones por día, y tiene que asegurarse de que los servidores respondan rápidamente a las peticiones de los clientes (Rendimiento) •  Asegurarnos de que nuestros servidores estén disponibles todo el tiempo aun cuando exista algún problema en alguno de ellos. (Disponibilidad)

¿Porque cluster con linux? •  Costo – beneficio •  Escalabilidad •  Estabilidad

Ejemplos de cluster con linux •  ** La película Titanic hizo todas sus animaciones y efectos especiales con cluster basados en Linux. •  ** El proyecto Genoma Humano fue realizado con cluster basados en Linux, y con software de código abierto. •  ** En Japón donde hay un gran interés por predecir las tormentas acaban de construir uno de los supercomputadores más grandes del mundo utilizando clusters de Linux para cálculo numérico.

Grid Vs. Cluster

Distribución de Software: •  •  •  •  •  • 

OpenMosix Scyld Oscar Rocks Atipa N1

Instalación de la distribución Rocks:

VENTAJAS DE ROCKS •  •  •  • 

Facil de Instalar Facil para construir Facil de administrar Facil de usar

Características de ROCKS •  RedHat Linux •  Soporta las siguientes Procesadores: –  AMD –  Itanium

Requerimientos minimos de Hardware Nodo Maestro: •  Disk Capacity: 16 GB •  Memory Capacity: 512 MB •  Ethernet: 2 physical ports (e.g., "eth0" and "eth1") Nodo Esclavo: •  Disk Capacity: 16 GB •  Memory Capacity: 512 MB •  Ethernet: 1 physical port (e.g., "eth0")

Referencias •  http://www.straddle3.net/context/ 02/02112 .es.html •  http://www.top500.org •  http://www.rockclusters.org •  http://www.linuxvirtualserver.org