Tiger Team Projects

The following enumeration provides an overview of collaborations between members of the bwHPC-S5 team and scientists, i.e. tiger teams. To apply for support by a tiger team, click

Apply for Tiger Team Project

Tiger Team: tt-reproducible-benchmarking

Zuverlässige Laufzeitmessungen

In vielen Anwendungen (sowohl in der KI also auch in vielen anderen Gebieten) ist eines der Hauptkriterien für die Performanz von Software die Laufzeit. Wie schnell kann ein gegebenes Problem von einem Algorithmus gelöst werden? Um die bestmögliche Laufzeit aus Algorithmen herauszuholen, ist es oft von Nöten die Parameter eines Algorithmus zu optimieren. Eine zwingende Vorraussetzung dazu ist, dass die Laufzeit der Algorithmen zuverlässig und reproduzierbar gemessen werden kann.

Um zuverlässige Laufzeitmessungen zu ermöglichen, arbeiten Dr. Marius Lindauer (Arbeitsgruppe Maschinelles Lernen) und das Tigerteam zusammen, um mögliche Einflussfaktoren auf Laufzeitmessungen herauszufinden und abzuschalten. Im Rahmen der Default-Einstellungen des Nemo-Cluster hat sich dabei herausgestellt, dass ein Problem der Turbo-Boost der Intel-CPUs ist, der entsprechend deaktiviert werden musste, um stabile CPU-Frequenzen zu ermöglichen. Das Tigerteam hat daher ermöglicht, dass Turbo-Boost durch Job-Optionen deaktiviert werden kann und die Laufzeitmessungen nachweislich stabiler geworden sind. Weitere offene Punkte zur weiteren Verbesserungen von stabilen Laufzeitmessungen könnten umfassen: Deaktivieren von Hyperthreading, Deaktivieren von CPU-Energiespeicher-Optionen, Verwenden von Singularity-Containern um Einflüsse vom Filesystem zu verkleinern u.Ä.

Mitglieder des Tiger-Teams: Marius Lindauer, Frank Hutter, HPC Kompetenzzentrum ENM

Status: abgeschlossen.