Expert Parallelism (Parallelisierung von Experten)

Expert Parallelism bezeichnet die Verteilung einzelner Experten eines Mixture-of-Experts-Modells auf mehrere GPUs, Server oder Inferenzknoten. Statt das komplette Modell auf jedem Rechner vorzuhalten, werden die spezialisierten Teilnetzwerke dort platziert, wo Rechenleistung und Speicher verfügbar sind. Ein Router entscheidet pro Token, welche Experten aktiv werden; die Infrastruktur muss die Anfragen dann schnell zum richtigen Experten bringen und die Ergebnisse wieder zusammenführen. Dadurch lassen sich sehr große Modelle betreiben, ohne dass jeder Knoten alle Parameter lokal halten muss. Der technische Gewinn ist allerdings nur real, wenn Netzwerkpfade, Batch-Größen, Expert Load Balancing und Speicherlayout zusammenpassen. Sonst spart das Modell zwar Speicher, verliert aber Zeit durch Kommunikation zwischen den Knoten. Für produktive KI-Systeme ist Expert Parallelism deshalb weniger ein Modelltrick als eine Betriebsarchitektur: Sie entscheidet, ob ein MoE-Modell zuverlässig, bezahlbar und mit stabiler Latenz ausgeliefert werden kann. Besonders bei Inferenz-Clustern mit vielen gleichzeitigen Nutzern beeinflusst diese Verteilung auch Kapazitätsplanung, Fehlertoleranz und die Frage, welche Workloads gemeinsam auf derselben Hardware laufen dürfen.