Tiger Team Projects
The following enumeration provides an overview of collaborations between members of the bwHPC-S5 team and scientists, i.e. tiger teams. To apply for support by a tiger team, click
Multi-GPU-Support für LAMMPS auf NEMO
Die materialwissenschaftlichen Fragestellungen der Arbeitsgruppe Dzubiella (Applied Theoretical Physics - Computational Physics) werden unter Anderem mittels Computersimulationen mit der Software LAMMPS untersucht. LAMMPS wurde speziell für parallele Berechnungen von Vielteilchensystemem entwickelt und es kann so eingerichtet werden, dass mehrere GPUs gleichzeitig verwendet werden können. Vorraussetzung dafür ist eine CUDA-aware OpenMPI, die auf NEMO bereitgestellt wurde [2].
LAMMPS stellt zwei Pakete zur Nutzung von Grafikkarten zur Verfügung: Das GPU Package [3] und das KOKKOS Package [4]. Insbesondere das KOKKOS-Paket unterstützt eine Vielzahl von gängigen Modellen und Methoden, sodass die Berechnungen fast ausschließlich von den Grafikkarten ausgeführt werden können.
Die AG Dzubiella hat mit Unterstützung des Kompetenzzentrums ENM die Multi-GPU-Performance (Tesla V100 32 GB) mittels eigener Simulationen getestet. Unter optimalen Systembedingungen (Teilchenzahl, Dichte, Komplexität der Wechselwirkung, etc.) kann eine GPU bis zu 10 NEMO-Knoten (200 Prozessoren) ersetzen. Bei der Verwendung von zwei GPUs kann eine Verdoppelung der Rechengeschwindigkeit erzielt werden. Bei drei GPUs ist die Performance allerdings noch stärker von den Simulationsbegebenheiten abhängig und eine lineare Skalierung konnte nicht erreicht werden. Ab vier GPUs wurde kein Geschwindigkeitsgewinn mehr beobachtet.
Im Ergebnis können bis zu zwei GPUs (Tesla V100) parallel für effiziente Simulationen mit LAMMPS (KOKKOS Package) verwendet werden, wobei insbesondere die Anpassung der Systemgröße die Performance maßgeblich steigert und vorab ausgetestet werden sollte.
[1] https://lammps.sandia.gov/
[2] https://www.open-mpi.org/faq/?category=buildcuda#build-cuda
[3] https://lammps.sandia.gov/doc/Speed_gpu.html
[4] https://lammps.sandia.gov/doc/Speed_kokkos.html
Members of the Tiger-Team: Sebastian Milster (AG Dzubiella), HPC Competence Center ENM
Status: abgeschlossen.