Question 1

Welches Large Language Model ist für mein Unternehmen am besten geeignet?

Accepted Answer

Das hängt vom Anwendungsfall ab: Textqualität, Sprache, Kosten pro Anfrage, Antwortgeschwindigkeit und Datenschutzanforderungen gewichten wir je Projekt unterschiedlich. Wir arbeiten mit GPT, Claude, Gemini, Llama, Mistral und weiteren Modellen, testen sie an Ihren eigenen Beispielaufgaben und empfehlen das passende Modell. Oft ist eine Kombination sinnvoll, bei der einfache Aufgaben an günstigere Modelle gehen.

Question 2

Was kostet die Entwicklung einer LLM-basierten Anwendung?

Accepted Answer

Die Kosten hängen vom Anwendungsfall, der Zahl der Datenquellen und Integrationen, dem Bedarf an Fine-Tuning und den Anforderungen an Hosting und Compliance ab. Hinzu kommen laufende Kosten für Modellaufrufe, die wir mit Routing und Caching planbar halten. Nach einem kurzen Scoping erhalten Sie ein klares Angebot: Festpreis nach Scoping, Angebot in 48 Stunden.

Question 3

Wie lange dauert die Entwicklung einer LLM-Lösung?

Accepted Answer

Ziel für eine erste produktive Version ist typischerweise ein Zeitraum von ca. 4–8 Wochen. Eine vollständige Lösung mit Fine-Tuning, mehreren Integrationen und Enterprise-Funktionen dauert typischerweise 8–16 Wochen. Entscheidend sind Datenlage, Anzahl der angebundenen Systeme und die Abstimmungswege im Unternehmen. Den Zeitplan legen wir nach dem Scoping gemeinsam fest.

Question 4

Können LLMs mit unseren internen Unternehmensdaten arbeiten?

Accepted Answer

Ja. Über RAG-Architekturen greifen Sprachmodelle zur Laufzeit auf Ihre Dokumente, Wikis und Datenbanken zu, ohne dass diese Daten in das Modell trainiert werden. Zugriffsrechte bleiben erhalten, sodass jede Person nur Antworten aus Quellen erhält, die sie sehen darf. Per Fine-Tuning lassen sich Modelle zusätzlich an Ihre Domäne und Fachsprache anpassen.

Question 5

Wie vermeiden wir Halluzinationen in LLM-Antworten?

Accepted Answer

Vollständig ausschließen lassen sich Halluzinationen nicht, aber deutlich reduzieren. Wir verankern Antworten per RAG in Ihren Quellen und lassen das Modell diese Quellen nennen. Dazu kommen strukturierte Ausgaben, Plausibilitätsprüfungen und Konfidenz-Schwellwerte, bei denen unsichere Fälle an Menschen gehen. Testsets mit echten Fragen zeigen vor jedem Release, wie zuverlässig die Anwendung antwortet.

Question 6

Ist die Nutzung von GPT oder Claude DSGVO-konform möglich?

Accepted Answer

Ja, mit der richtigen Architektur. Wir nutzen europäische Hosting-Optionen und Verträge zur Auftragsverarbeitung der Anbieter, verschlüsseln Daten und pseudonymisieren personenbezogene Inhalte, bevor sie ein Modell erreichen. Für besonders sensible Daten setzen wir Open-Weight-Modelle auf Ihrer eigenen Infrastruktur ein. Welche Variante passt, klären wir gemeinsam mit Ihrem Datenschutzbeauftragten.

Question 7

Was ist der Unterschied zwischen Fine-Tuning und RAG?

Accepted Answer

Fine-Tuning passt die Modellgewichte an Ihre Fachsprache, Formate und Tonalität an; das Wissen steckt danach im Modell. RAG lässt das Modell zur Laufzeit auf Ihr Unternehmenswissen zugreifen und quellenbasiert antworten; Änderungen an Dokumenten wirken sofort. Für aktuelles Faktenwissen ist RAG meist die bessere Wahl, für Stil und Spezialformate Fine-Tuning. Beide Ansätze lassen sich kombinieren.

Question 8

Können wir bestehende Systeme wie SAP oder Salesforce an ein LLM anbinden?

Accepted Answer

Ja. Über APIs, Function Calling und bei Bedarf das Model Context Protocol verbinden wir Sprachmodelle mit CRM, ERP, Helpdesk, DMS und weiteren Plattformen. Das Modell kann dann Daten abfragen, Datensätze anlegen oder Workflows anstoßen, jeweils mit den Rechten, die Sie festlegen. Kritische Aktionen lassen sich an eine menschliche Freigabe koppeln.

Question 9

Wie messen wir den ROI einer LLM-Implementierung?

Accepted Answer

Wir legen vor Projektstart messbare Kriterien fest, etwa Bearbeitungszeit pro Vorgang, Anteil automatisch gelöster Anfragen oder Fehlerquote, und erheben einen Ausgangswert. Nach dem Launch vergleichen wir diese Werte mit den Projekt- und Betriebskosten. Qualität prüfen wir über automatische Benchmarks, menschliche Evaluierung und A/B-Tests; Modell-Routing senkt zusätzlich die laufenden API-Kosten.

Question 10

Welche Open-Source-Modelle empfehlen Sie als Alternative zu GPT?

Accepted Answer

Llama, Mistral, Qwen und DeepSeek sind leistungsfähige Open-Weight-Alternativen, die sich auch selbst hosten lassen. Welches Modell passt, hängt von Aufgabe, Sprache, benötigter Qualität und vorhandener Infrastruktur ab. Wir evaluieren die Kandidaten an Ihren Beispielaufgaben und berücksichtigen dabei auch Lizenzbedingungen und den Aufwand für Betrieb und Updates.

Question 11

Was unterscheidet eine professionelle GPT- oder LLM-Lösung von ChatGPT oder Custom GPTs?

Accepted Answer

Für den Einstieg sind ChatGPT und Custom GPTs aus dem GPT Store nützlich. Eine professionelle Lösung geht weit darüber hinaus: Function Calling, Datenbank-Anbindung, mehrstufige Workflows, Guardrails, Logging, Fehlerbehandlung und Skalierung. Über eine eigene API-Integration behalten Sie die Kontrolle über Datenflüsse, Schlüssel und Zugriffe und erhalten eine überwachte Anwendung, die in Ihre Systeme integriert ist.

Question 12

Können GPT-Anwendungen auch offline oder On-Premise laufen?

Accepted Answer

GPT-Modelle von OpenAI benötigen eine API-Verbindung; über Azure OpenAI sind private Endpunkte in Ihrem virtuellen Netzwerk möglich. Für vollständig offline-fähige Lösungen setzen wir Open-Weight-Modelle wie Llama oder Mistral auf Ihrer eigenen Infrastruktur ein. Die Anwendung bauen wir so, dass sich das Modell später austauschen lässt, ohne die übrige Architektur zu ändern.

LLM-Entwicklung: Sprachmodelle produktiv im Unternehmen einsetzen

Was ist LLM-Entwicklung?

Was umfasst unsere Arbeit mit Sprachmodellen?

Modellauswahl (GPT, Claude, Llama, Mistral)

Prompt Engineering und Evaluierung

RAG-Pipelines (Pinecone, Weaviate)

Fine-Tuning (LoRA, QLoRA)

Agenten-Architekturen (LangGraph)

Guardrails und Compliance (EU AI Act, DSGVO)

Wie läuft ein LLM-Projekt ab?

Erstgespräch

Evaluierung und Angebot

Entwicklung

Launch und Betrieb

Häufige Fragen zur LLM-Entwicklung

Verwandte Seiten

Passende Leistungen

Womit entwickeln wir LLM-Anwendungen?

Sprachmodelle

RAG & Daten

Orchestrierung

Betrieb

In welchen Branchen setzen wir LLMs ein?

Finanzdienstleistungen

Gesundheitswesen

Rechtsbranche

E-Commerce & Handel

Medien & Verlage

Technologie & Software

Beispiele für LLM-Projekte

LLM-Support-Agent mit Quellenangabe

Recherche-Assistent für Fachunterlagen

Dokumentenprüfung mit strukturierten Ausgaben

Sprachmodell-Projekte aus Berlin-Charlottenburg

Welche Aufgabe soll ein Sprachmodell bei Ihnen übernehmen?