Ein Kundenservice möchte eingehende Anfragen schneller bearbeiten. Eine KI soll die Nachrichten analysieren, das Anliegen erkennen und die für die Bearbeitung relevanten Informationen zusammentragen. Bei einfachen Fällen soll der Vorgang weitgehend automatisiert ablaufen. Kritische Anfragen müssen weiterhin von einem Menschen geprüft werden.
Für einen Piloten lässt sich ein Sprachmodell schnell an das zentrale E-Mail-Postfach anbinden. Im produktiven Betrieb muss jedoch geklärt sein, wer den Prozess steuert, Modelle auswählt, sensible Daten schützt, Ausfälle auffängt und über die automatische Übernahme von Ergebnissen entscheidet.
Workflow-Engines, KI-Services, Agenten und LLM-Gateways überschneiden sich funktional, tragen im Betrieb aber unterschiedliche Verantwortung. Ihre klare Trennung macht aus dem KI-Piloten einen kontrollierbaren Geschäftsprozess.
Dieser Beitrag vertieft die Architekturfragen aus unserem Webinar KI in der Prozessautomatisierung Vol. 3: Architektur statt Tool-Chaos und knüpft an Vol. 2: KI-Workflows in der Praxis an.
Viele KI-Initiativen, aber keine gemeinsame Architektur
Beim Übergang in den produktiven Betrieb zeigt sich die Folge paralleler KI-Initiativen: Teams nutzen verschiedene Modelle, API-Zugänge und Prompt-Vorlagen; Klassifikation, Extraktion oder Zusammenfassung werden mehrfach umgesetzt. Berechtigungen, Datenschutz, Protokollierung und menschliche Freigaben müssen immer wieder neu geklärt werden.
Benötigt wird eine Architektur, in der Prozesse stabil bleiben und Modelle austauschbar sind. Warum die Architektur wichtiger ist als die Modellwahl, erläutert ein eigener Beitrag. Entscheidend ist, welche Komponente welche Verantwortung übernimmt.
Vier Verantwortlichkeiten in einem KI-gestützten Geschäftsprozess
Bei einer Kundenanfrage greifen vier Verantwortlichkeiten ineinander:
- Die Workflow-Engine steuert den End-to-End-Prozess.
- AI Capabilities stellen klar abgegrenzte KI-Funktionen bereit.
- Agenten bearbeiten Aufgaben mit einem variablen Lösungsweg.
- Das LLM-Gateway kontrolliert den Zugriff auf die Modelle.
Die Workflow-Engine steuert den Geschäftsprozess
Eine Kundenanfrage beginnt einen fachlichen Vorgang: Zuordnung, Klassifikation, Weiterleitung, Fristen, Eskalationen und Freigaben müssen nachvollziehbar gesteuert werden.
Die Workflow- oder Case-Engine verwaltet Prozesszustand, Rollen, Aufgaben, Fristen und Verlauf. Sie ruft die KI an einer definierten Stelle auf und entscheidet anhand verbindlicher Regeln über den weiteren Ablauf.
Eine gewöhnliche Statusanfrage mit hoher Sicherheit kann automatisiert verarbeitet werden. Eine mögliche Beschwerde oder geringe Erkennungssicherheit führt dagegen zur Priorisierung und menschlichen Prüfung.
Die KI bewertet den Inhalt. Die Workflow-Engine entscheidet, wie der Geschäftsprozess weiterläuft.
AI Capabilities machen KI-Funktionen wiederverwendbar
Eine AI Capability trennt die fachlich benötigte Fähigkeit über eine stabile Schnittstelle vom konkreten Modell. Im Kundenservice können Klassifikation, Dringlichkeitsbewertung und Informationsextraktion als definierte Services bereitstehen. Bei stabilen Ein- und Ausgaben lässt sich das verwendete Cloud-Modell später durch ein spezialisiertes oder lokal betriebenes Modell ersetzen, ohne den Geschäftsprozess zu ändern.
Eine Capability zur Klassifikation liefert etwa:
- Kategorie der Anfrage
- erkannte Dringlichkeit
- zugehöriges Produkt oder Vertragsverhältnis
- Konfidenz der Einordnung
- empfohlene weitere Bearbeitung
Strukturierte Ausgabe bedeutet noch nicht fachliche Richtigkeit
Für die automatisierte Verarbeitung braucht die AI Capability ein definiertes Antwortformat, etwa ein JSON-Schema mit Feldern für Kategorie, Dringlichkeit und Konfidenz. Eine formal gültige Antwort kann dennoch fachlich falsch sein; die weitere Verarbeitung muss sich deshalb am Risiko orientieren.
Einfache Informationsanfragen können automatisch weitergeleitet werden. Beschwerden, Vertragsänderungen oder rechtlich relevante Anliegen benötigen gegebenenfalls höhere Konfidenzschwellen, Plausibilitätsprüfungen oder menschliche Freigaben. Die Workflow-Engine hinterlegt diese Regeln auditierbar.
Agenten übernehmen Aufgaben mit variablem Lösungsweg
Für Klassifikation oder Extraktion reicht häufig ein definierter AI-Service. Ein Agent ist sinnvoll, wenn auch der Lösungsweg vom Kontext abhängt.
Fehlen Angaben, kann ein Agent zugelassene Quellen wie frühere Servicefälle, Vertragsinformationen und Lieferstatus in variabler Reihenfolge prüfen, Widersprüche erkennen und eine strukturierte Zusammenfassung erstellen.
Diese Flexibilität ersetzt keine Geschäftsprozesssteuerung: Nachvollziehbarkeit, Fristen und Eskalationen gehören in die Workflow-Engine, nicht in ein Sprachmodell.
Guardrails bestimmen, auf welche Systeme und Daten der Agent zugreifen darf, welche Aktionen, Zeit- und Kostenlimits sowie Freigaben gelten. Die Workflow-Engine definiert Teilaufgabe, Zeitpunkt, Auftrag und Weiterverarbeitung.
Der Agent entscheidet innerhalb einer Aufgabe über den Lösungsweg. Die Workflow-Engine entscheidet über den Verlauf des Geschäftsprozesses.
Das LLM-Gateway kontrolliert den Modellzugriff
Bei mehreren Prozessen und Modellen braucht es eine zentrale Zugriffsschicht. Das AI- oder LLM-Gateway regelt zwischen Anwendungen und Sprachmodellen Zugriffe, Richtlinien, Routing und Protokollierung.
Es kann allgemeine Produktinformationen an ein freigegebenes Cloud-Modell leiten, personenbezogene oder vertrauliche Daten dagegen an ein zugelassenes Modell oder zuvor bereinigen.
Je nach Aufgabe, Kosten und Qualität wählt es unterschiedliche Modelle: kleinere für einfache Klassifikationen, leistungsfähigere für komplexe Fälle. Bei Ausfällen greift eine zentrale Alternative.
Typische Aufgaben sind:
- Authentifizierung und Autorisierung
- Durchsetzung von Modell- und Datenschutz-Policies
- Routing an geeignete Modelle
- Verwaltung von Fallbacks
- Protokollierung von Modellaufrufen
- Erfassung von Laufzeiten und Fehlern
- Transparenz über Nutzung und Kosten
Fachliche Entscheidungen wie Eskalation oder Vertragsfreigabe bleiben im Geschäftsprozess. Das Gateway ergänzt die Workflow-Engine, ersetzt sie aber nicht.
Die Workflow-Engine kontrolliert den Geschäftsprozess. Das LLM-Gateway kontrolliert den Zugang zu den Modellen.
Governance wird technisch ausführbar
Im produktiven Betrieb muss Governance zum technischen Bestandteil der Architektur werden.
Personenbezogene Daten dürfen nur freigegebene Modelle verarbeiten; kritische Beschwerden gehen an Menschen; automatische Antworten gelten nur für definierte Kategorien. Jeder Modellaufruf wird mit Modell, Capability und Prozessergebnis protokolliert.
Human Oversight legt fest, wann und durch wen geprüft wird, welche Informationen vorliegen und wie die Entscheidung dokumentiert wird. So werden Vorgaben zu durchsetzbaren Policies, Freigaben, Eskalationen und Audit Trails.
Die Wirtschaftlichkeit des Gesamtprozesses zählt
Ein günstiges Modell kann durch mehr manuelle Prüfung höhere Prozesskosten verursachen; ein teurerer Aufruf kann sich durch zuverlässige Einordnung und weniger Nacharbeit rechnen. Deshalb zählen neben Modellaufrufen, Tokenverbrauch und Kosten auch folgende Prozesskennzahlen:
- Kosten je bearbeitetem Vorgang
- Automatisierungsquote
- Anteil der manuellen Nachbearbeitung
- Fehler- und Eskalationsquote
- durchschnittliche Durchlaufzeit
- Qualität der Klassifikation
- Kosten der automatisierten gegenüber der manuellen Bearbeitung
Optimiert wird nicht der günstigste KI-Aufruf, sondern der wirtschaftlichste und fachlich zuverlässige End-to-End-Prozess.
Der Weg von der Einzellösung zur modularen Architektur
Der Einstieg gelingt mit einer klar abgegrenzten Aufgabe, etwa der Klassifikation eingehender Kundenanfragen. Der Pilot zeigt Datenlage, Ergebnisqualität und fachlichen Nutzen. Bei produktiver oder mehrfacher Nutzung wird daraus eine AI Capability mit stabiler Schnittstelle statt eines direkten Modellaufrufs.
Mit mehr Modellen, Anwendungen und Fachbereichen werden gemeinsame Regeln für Zugriff, Datenschutz, Routing, Fallbacks, Kosten, Monitoring und Governance nötig. Gemessen wird auch die Zuverlässigkeit der Gesamtbearbeitung und der Bedarf an menschlichen Eingriffen.
Der Umfang muss zum Reifegrad passen. Spätestens wenn mehrere produktive Anwendungen dieselben Daten, Modelle oder KI-Fähigkeiten nutzen, wird die klare Verantwortungsteilung zur Voraussetzung für Skalierung.
Fazit: Nicht jedes Werkzeug darf den gesamten Prozess steuern
Workflow-Engine, AI Capabilities, Agenten und LLM-Gateway übernehmen komplementäre Aufgaben: Prozesssteuerung, wiederverwendbare KI-Funktionen, flexible Lösungswege und kontrollierten Modellzugriff. Governance und Human Oversight verbinden sie zu einem kontrollierbaren Gesamtsystem.
Die entscheidende Frage lautet: Welche Verantwortung muss wo verankert sein, damit der Geschäftsprozess zuverlässig funktioniert?
Vom KI-Piloten zur tragfähigen Automatisierungsarchitektur
Wenn Sie prüfen möchten, wie Workflow-Engines, AI Capabilities, Agenten und Modelle in Ihrer bestehenden Architektur zusammenspielen sollten, bietet unser Discovery Workshop einen strukturierten Einstieg. Gemeinsam betrachten wir vorhandene KI-Initiativen, bestehende Geschäftsprozesse, direkte Modellabhängigkeiten und Anforderungen an Governance und Human Oversight. Daraus entsteht ein konkretes Zielbild mit priorisierten nächsten Schritten für die Umsetzung. So wird aus einzelnen KI-Anwendungen schrittweise eine kontrollierbare und skalierbare Automatisierungsarchitektur.
FAQ
Ein LLM-Gateway steuert zwischen Anwendungen und Sprachmodellen Authentifizierung, Policies, Routing, Fallbacks, Protokollierung und Kosten. Fachliche Prozessentscheidungen trifft es nicht.
Nein. Die Workflow-Engine steuert Zustand, Rollen, Fristen, Eskalationen und Freigaben; das LLM-Gateway den Zugang zu KI-Modellen.
Ein Agent ist sinnvoll, wenn der Lösungsweg vom Kontext abhängt, etwa bei Abfragen mehrerer Quellen. Für Klassifikation oder Extraktion genügt meist ein definierter AI-Service.
Eine AI Capability ist eine wiederverwendbare KI-Funktion mit stabiler Schnittstelle. Sie trennt die fachliche Fähigkeit vom Modell und ermöglicht dessen Austausch ohne Prozessänderung.
Das LLM-Gateway erzwingt Modell- und Datenschutz-Policies; die Workflow-Engine verankert Konfidenzschwellen, Freigaben und Eskalationen. Protokollierte Modellaufrufe machen den Ablauf auditierbar.