Tiger Team Projects
The following enumeration provides an overview of collaborations between members of the bwHPC-S5 team and scientists, i.e. tiger teams. To apply for support by a tiger team, click
Steigerung der Effizienz IO-intensiver HEP-Workflows durch koordiniertes Caching
Aufgrund des in der Hochenergiephysik üblichen Datenmanagementkonzepts werden die Daten für HEP-Workflows, insbesondere bei opportunistichen Ressourcen wie dem NEMO, über die WAN-Anbindung von einem entfernten Grid-Speichersystem gelesen. Auf Grund von Limitierungen der Netzwerkbandbreite, sowie je nach Auslastung der Speichersysteme kann es daher bei I/O-intensiven Workflows zu Ineffizienzen auf Grund von zu geringem Datendurchsatz kommen.
Eine vielversprechende Möglichkeit die Effizienz wiederkehrender I/O-intensiver Workflows, beispielsweise Analysen der Endnutzer, zu steigern, ist die Nutzung von Caches auf dem schnellen parallelen Dateisystem des NEMOs. Eine in der HEP etabilierte Technologie ist Einsatz von XRootD-Proxies, die transparent zwischen Nutzerjobs und dem Grid-Speichersystem geschaltet werden können.
Im Rahmen dieses Tiger-Teams werden derzeit XRootD-Proxies auf NEMO deployed und mögliche Optimierungen in der Caching-Strategie, sowie in der hierarchischen Koordination einzelner Caches auf verschiedenen Sites untersucht. Im folgenden ist geplant die Caches mit dem auf HTCondor basierendem Workflow-Management durch Einsatz der in Karlsruhe entwickelten Software Navix zu verknüpfen und dadurch ein zielgerichtetes Routing der Jobs zu den gecachten Daten zu ermöglichen.
Mitglieder des Tiger-Teams: Gruppe Prof. Günter Quast (René Caspart, Max Fischer, Manuel Giffels, Christoph Heidecker, Tabea Fesenbecker), HPC Kompetenzzentrum ENM
Status: abgeschlossen.