Inferenz-Chip

Ein Inferenz-Chip ist ein spezialisierter Halbleiter-Prozessor, optimiert für die effiziente Ausführung von KI-Modellen bei der Inferenz. Im Gegensatz zu General-Purpose-CPUs oder Training-GPUs priorisieren Inferenz-Chips Durchsatz (TPS), Energieeffizienz und niedrige Latenz für bereits trainierte Modelle. Die drei dominanten Kategorien: GPUs wie NVIDIAs H100 und B200 Blackwell, die durch massive parallele Rechenarchitektur und Tensor-Kerne glänzen; TPUs (Tensor Processing Units) von Google, speziell für Matrix-Multiplikationen in neuronalen Netzen entwickelt; sowie ASICs (Application-Specific Integrated Circuits) für eine spezifische Aufgabe — etwa Groqs LPU (Language Processing Unit) mit 500+ TPS, Cerebrases CS-3 oder Amazons Inferentia-Chips. NVIDIAs Blackwell-Generation (GB200, B200) hat die Inferenz-Landschaft revolutioniert: Natives FP4 ermöglicht 4× mehr Operationen pro Watt vs. H100; 192 GB HBM3e-Speicher hält selbst die größten Frontier-Modelle vollständig im VRAM. Der GB200 NVL72 Rack (72 B200 GPUs, 1,4 TB Gesamt-VRAM) erreicht 30× höheren Durchsatz als H100-Systeme. Die Wahl des richtigen Inferenz-Chips beeinflusst Kosten, Latenz und maximale Modellgröße: Kleinere Modelle laufen effizient auf einzelnen H100s; Frontier-Modelle benötigen Multi-GPU-Cluster.