Skip to main content

Alistarh Group

Verteilte Algorithmen und Systeme

Verteilung war im letzten Jahrzehnt ein wesentlicher Trend der Informatik: Prozessorarchitekturen sind mehrkernig, während Großsysteme für maschinelles Lernen und Datenverarbeitung über mehrere Maschinen oder sogar Datenzentren verteilbar sind. Die Alistarh-Gruppe arbeitet an Algorithmen, die diese Entwicklung nutzen können, indem sie skalierbare Software entwickelt – diese verbessert die Performance, sobald mehr Rechenleistung verfügbar ist.


Diese fundamentale Veränderung zu verteiltem Rechnen bringt aufregende offene Fragen mit sich: Wie gestalten wir Algorithmen, die jedes letzte Stück Performance aus der derzeitigen Generation der Computer-Architektur nutzen können? Wie entwickeln wir zukünftige Architekturen, um skalierbarere Algorithmen zu unterstützen? Gibt es klare Abstraktionen, um Hochleistungs-Verteilung für Programmierer zugänglich zu machen? Die Forschung der Alistarh-Gruppe konzentriert sich auf die Beantwortung dieser Fragen. Insbesondere ist die Gruppe daran interessiert, effiziente und praktische Algorithmen für grundlegende Probleme der verteilten Datenverarbeitung zu entwickeln, die inhärenten Grenzen verteilter Systeme zu verstehen und neue Wege zur Überwindung dieser Grenzen zu entwickeln. Ein besonderer Fokus in den letzten Jahren war das verteilte maschinelle Lernen.




Team

Image of Saleh Ashkboos

External student

Image of Jiale Chen

Jiale Chen

PhD Student

Image of Alexander Fedorov

Alexander Fedorov

PhD Student


Image of Elias Frantar

Elias Frantar

PhD Student

Image of Eugenia Iofinova

Eugenia Iofinova

PhD Student

Image of Eldar Kurtic

Eldar Kurtic

Research Technician Machine Learning

+43 2243 9000 2081



Image of Aleksandr Shevchenko

Aleksandr Shevchenko

PhD Student


Laufende Projekte

Effizientes Training und Inferenz für massive Modelle | Verteiltes Machine Learning | Gleichzeitige Datenstrukturen und Anwendungen | Molekulare Berechnungen


Publikationen

Markov I. 2024. Communication-efficient distributed training of deep neural networks: An algorithms and systems perspective. Institute of Science and Technology Austria. View

Shevchenko A. 2024. High-dimensional limits in artificial neural networks. Institute of Science and Technology Austria. View

Kokorin I, Yudov V, Aksenov V, Alistarh D-A. 2024. Wait-free trees with asymptotically-efficient range queries. 2024 IEEE International Parallel and Distributed Processing Symposium. IPDPS: International Parallel and Distributed Processing Symposium, 169–179. View

Kögler K, Shevchenko A, Hassani H, Mondelli M. 2024. Compression of structured data with autoencoders: Provable benefit of nonlinearities and depth. Proceedings of the 41st International Conference on Machine Learning. ICML: International Conference on Machine Learning, PMLR, vol. 235, 24964–25015. View

Alistarh D-A, Chatterjee K, Karrabi M, Lazarsfeld JM. 2024. Game dynamics and equilibrium computation in the population protocol model. Proceedings of the 43rd Annual ACM Symposium on Principles of Distributed Computing. PODC: Symposium on Principles of Distributed Computing, 40–49. View

Zu Allen Publikationen

ReX-Link: Dan Alistarh


Karriere

Seit 2017 Assistant Professor, Institute of Science and Technology Austria (ISTA)
2016 – 2017 “Ambizione Fellow”, Computer Science Department, ETH Zurich, Schweiz
2014 – 2016 Researcher, Microsoft Research, Cambridge, UK
2014 – 2016 Morgan Fellow, Downing College, University of Cambridge, UK
2012 – 2013 Postdoc, Massachusetts Institute of Technology, Cambridge, USA
2012 PhD, EPFL, Lausanne, Schweiz


Ausgewählte Auszeichnungen

2023 ERC Proof of Concept Grant
2018 ERC Starting Grant
2015 Awarded Swiss National Foundation “Ambizione” Fellowship
2014 Elected Morgan Fellow at Downing College, University of Cambridge
2012 Postdoctoral Fellowship of the Swiss National Foundation
2011 Best Paper Award at the International Conference on Distributed Computing and Networking


Zusätzliche Informationen

Dan Alistarhs Website



theme sidebar-arrow-up
Nach Oben