KI-Anwendung entwickeln – Schritt für Schritt von der Idee bis zur Implementierung

Um eine KI-Anwendung zu entwickeln, beginnt man mit einem konkreten geschäftlichen Problem, bereitet die Daten auf, wählt ein Modell (z. B. Claude, GPT, Gemini, Llama oder Mistral), konzipiert, wie es mit Wissen versorgt wird (meist per RAG), baut einen Prototyp und ein MVP, prüft die Antwortqualität mit Evaluierungen und implementiert die Lösung anschließend mit Kostenmonitoring sowie DSGVO- und EU-AI-Act-Konformität. Das Modell selbst ist nur ein Element – über den Erfolg entscheiden Daten, Integrationen, Oberfläche und das Verhalten der Anwendung, wenn die KI sich irrt.

In diesem Ratgeber gehen wir den gesamten Entwicklungsprozess einer KI-Anwendung Schritt für Schritt durch – so, wie er in Projekten eines Softwarehauses abläuft. Ob Sie an eine Webanwendung, eine Mobile App oder eine KI-Funktion in einem bestehenden System denken: Die Phasen sind ähnlich.

Was ist eine KI-Anwendung?

Eine KI-Anwendung ist Software, deren Kernfunktion ein Modell künstlicher Intelligenz übernimmt – meist ein großes Sprachmodell (LLM). Beispiele:

• ein Assistent, der Kundenfragen auf Basis der Unternehmensdokumentation beantwortet,
• ein Tool zur Analyse von Verträgen, Rechnungen oder Tickets und zur Extraktion von Daten daraus,
• eine interne Wissenssuche für Mitarbeitende,
• ein Generator für Angebote, Produktbeschreibungen oder Berichte auf Basis von Systemdaten,
• eine Mobile App, die Fotos oder Dokumente erkennt,
• ein Agent, der selbstständig Aufgaben in den Systemen des Unternehmens erledigt – mehr dazu auf der Seite KI-Agenten für Unternehmen.

Aus Sicht des Nutzers ist es eine gewöhnliche Anwendung mit Oberfläche, Konten und Berechtigungen. Der Unterschied: Ein Teil der Logik ist nicht explizit im Code festgelegt, sondern wird von einem Modell umgesetzt, das probabilistisch arbeitet – also jedes Mal etwas anders antworten und sich manchmal irren kann.

KI-Anwendungen entwickeln – Schritt für Schritt

Das sind die Phasen eines typischen Projekts. Die Reihenfolge ist wichtig – die teuersten Fehler entstehen, wenn die ersten Schritte übersprungen werden.

1. Wahl des Problems und Beschreibung des Prozesses
2. Bestandsaufnahme und Aufbereitung der Daten
3. Wahl des Modells
4. Architektur: Prompt, RAG, Tools
5. Prototyp
6. MVP
7. Tests und Evaluierungen
8. Implementierung und Monitoring
9. Betrieb, Kosten und Weiterentwicklung

Im Folgenden besprechen wir jede einzelne Phase.

Schritt 1. Idee und Prozess – womit beginnen?

Die besten KI-Anwendungen beginnen nicht mit der Frage „Was können wir mit KI machen?“, sondern mit der Frage „Welcher Prozess kostet uns die meiste Zeit oder verursacht die meisten Fehler?“. Ein guter Kandidat:

• ist wiederkehrend und betrifft viele Personen oder viele Fälle,
• basiert auf Texten, Dokumenten, Bildern oder Daten, die sich dem Modell zugänglich machen lassen,
• toleriert ein gewisses Maß an Fehlern oder erlaubt die Prüfung des Ergebnisses durch einen Menschen,
• hat einen messbaren Effekt – Bearbeitungszeit, Anzahl der Fälle, Qualität der Antworten.

In dieser Phase sollte der Prozess in seiner aktuellen Form beschrieben werden: Wer macht was, mit welchen Daten, wie lange dauert es, wo liegen die Engpässe? Diese Beschreibung dient später als Bezugspunkt, um zu bewerten, ob die Anwendung einen Nutzen bringt.

Schritt 2. Daten – der Treibstoff einer KI-Anwendung

Ein Sprachmodell kennt die Welt im Allgemeinen, aber nicht Ihr Unternehmen. Wissen über Produkte, Abläufe, Preislisten oder Kunden muss es aus Ihren Daten erhalten. Deshalb ist zu klären:

• welche Daten benötigt werden – Dokumente, Wissensdatenbank, CRM, ERP, Tickets, E-Mails,
• wo sie liegen und in welchem Format – PDF-Dateien, Datenbanken, Systeme mit API, Scans,
• wie gut ihre Qualität ist – Aktualität, Widersprüche, Duplikate, Lücken,
• wer Zugriff darauf hat – die Anwendung muss Berechtigungen respektieren, damit ein Nutzer über die KI keine Dokumente sieht, auf die er normalerweise keinen Zugriff hat,
• ob sie personenbezogene Daten enthalten – was sich direkt auf die DSGVO-Anforderungen auswirkt.

Oft zeigt sich, dass das Ordnen der Daten den größten Teil der Arbeit ausmacht – und zugleich eine Investition ist, die sich auch außerhalb des KI-Projekts auszahlt.

Schritt 3. Wahl des KI-Modells

Zur Wahl stehen zwei Hauptgruppen: Modelle, die per API in der Cloud verfügbar sind, und Modelle mit offenen Gewichten, die sich auf eigener Infrastruktur betreiben lassen.

In der Praxis werden oft mehrere Modelle eingesetzt: ein leistungsstärkeres für schwierige Aufgaben, ein günstigeres und schnelleres für einfache (Klassifizierung, Zusammenfassungen) und manchmal ein lokales für besonders sensible Daten. Es lohnt sich, die Anwendung so zu konzipieren, dass das Modell austauschbar ist – der Markt verändert sich schnell, und die Wahl von heute muss in einem Jahr nicht mehr die beste sein. Verlassen Sie sich beim Vergleich von Modellen nicht auf Rankings aus dem Internet, sondern auf Tests mit eigenen Beispielen.

Schritt 4. Architektur: Prompt, RAG und Tools

Es gibt mehrere Wege, damit ein Modell mit Ihrem Wissen und in Ihren Systemen arbeitet:

Prompt mit Anweisungen

Die einfachste Form: Das Modell erhält eine Anweisung (Rolle, Regeln, Antwortformat) und die Eingabedaten. Das genügt für Aufgaben, bei denen alle nötigen Informationen in die Anfrage passen – z. B. die Zusammenfassung eines vom Nutzer hochgeladenen Dokuments.

RAG – Suche und Generierung

RAG (Retrieval-Augmented Generation) ist die am häufigsten eingesetzte Architektur in Unternehmensanwendungen. Dokumente werden in Abschnitte zerlegt, in Vektoren (Embeddings) umgewandelt und in einer Vektordatenbank gespeichert. Stellt der Nutzer eine Frage, sucht das System die passendsten Abschnitte und übergibt sie zusammen mit der Frage an das Modell. Das Modell antwortet auf Basis der bereitgestellten Quellen und kann diese angeben. Vorteile: Das Wissen ist stets aktuell (es genügt, die Dokumente zu aktualisieren), die Quelle einer Antwort lässt sich leicht zeigen und Halluzinationen werden reduziert. Die Qualität von RAG hängt jedoch stark von der Aufteilung der Dokumente, der Suchqualität und der Filterung nach Berechtigungen ab.

Tools und Agenten

Soll die Anwendung nicht nur antworten, sondern auch handeln – den Bestellstatus prüfen, ein Ticket anlegen, eine E-Mail senden –, erhält das Modell Zugriff auf Tools (API-Funktionen). Immer häufiger kommt dafür der Standard MCP zum Einsatz. Eine solche Anwendung wird zum KI-Agenten und erfordert eine besonders sorgfältige Konzeption von Berechtigungen und Bestätigungen durch den Menschen.

Fine-Tuning

Das Feinabstimmen eines Modells auf eigenen Daten ist seltener nötig, als man denkt. Es bewährt sich bei einem speziellen Stil, Format oder einer eng umrissenen Klassifizierungsaufgabe – um Wissen über das Unternehmen zu vermitteln, eignet sich RAG meist besser.

Schritt 5. Prototyp der KI-Anwendung

Der Prototyp soll eine einzige Frage beantworten: Bewältigt das Modell die Aufgabe mit unseren Daten auf akzeptablem Niveau? In dieser Phase werden weder Konten noch Berechtigungen noch eine vollständige Oberfläche gebaut. Es genügen ein einfacher Bildschirm oder ein Skript und einige Dutzend reale Beispiele. Für Mock-ups der Oberfläche eignen sich Tools wie v0, Lovable oder Bolt – sie zeigen schnell, wie die Anwendung aussehen könnte. Der Prototyp ist auch der Moment, ehrlich zu sagen: „Das wird nicht funktionieren“ – besser nach zwei Wochen als nach sechs Monaten.

Schritt 6. MVP – die erste Version für Nutzer

Ein MVP ist eine Anwendung, die echte Nutzer verwenden können, wenn auch in begrenztem Umfang. Es enthält bereits die Elemente, ohne die kein produktiver Einsatz möglich ist:

• Login, Rollen und Berechtigungen (auch für die per RAG durchsuchten Daten),
• eine auf die Nutzer zugeschnittene Web- oder Mobile-Oberfläche – lesen Sie, wie man eine Webanwendung entwickelt,
• Integrationen mit den Quellsystemen,
• Protokollierung von Anfragen und Antworten (unter Beachtung der DSGVO),
• einen Mechanismus, mit dem Nutzer fehlerhafte Antworten melden können,
• eine Behandlung von Situationen, in denen das Modell die Antwort nicht kennt oder nicht verfügbar ist.

Beim Bau des MVP nutzen Entwickler zunehmend selbst KI – Tools wie Claude Code, Cursor oder GitHub Copilot beschleunigen wiederkehrende Arbeiten, sofern jede Änderung ein Review durchläuft. So arbeiten wir bei 4B Systems – mehr dazu auf der Seite KI-Anwendungen und Entwicklung mit KI.

Schritt 7. Tests und Evaluierungen

Eine KI-Anwendung wird zweigleisig getestet. Klassische Tests (Unit-, Integrations-, E2E-Tests) prüfen, ob der Code funktioniert. Evaluierungen prüfen, ob die KI gut funktioniert: Man stellt einen Satz von Fragen oder Fällen mit erwarteten Antworten zusammen und misst regelmäßig, wie das Modell damit zurechtkommt – Treffsicherheit, Übereinstimmung mit den Quellen, Format, Ton. Evaluierungen laufen bei jeder Änderung von Prompt, Modell oder Daten, damit sich die Qualität nicht „unbemerkt“ verschlechtert. Hinzu kommen Sicherheitstests, darunter die Widerstandsfähigkeit gegen Prompt Injection. Details im Artikel über Softwaretests mit KI.

Schritt 8. Implementierung der KI-Anwendung

Die Implementierung sollte schrittweise erfolgen: zuerst eine kleine Nutzergruppe, dann weitere Abteilungen oder Kunden. Nach dem Start braucht es ein Monitoring nicht nur von Fehlern und Performance, sondern auch der Antwortqualität, der Nutzermeldungen und der Kosten. Nutzer sollten wissen, dass sie KI verwenden, ihre Grenzen verstehen und eine einfache Möglichkeit zur Eskalation an einen Menschen haben.

Schritt 9. Betriebskosten einer KI-Anwendung – Tokens und mehr

Die Kosten einer KI-Anwendung beschränken sich nicht auf die Entwicklung. Nach der Implementierung fallen laufende Kosten an:

• Tokens – Modelle per API werden nach der Menge des verarbeiteten Textes abgerechnet, getrennt nach Eingabedaten und generierter Antwort; bei RAG enthält jede Anfrage zudem Dokumentabschnitte, was den Verbrauch erhöht,
• Embeddings und Vektordatenbank – bei der Indexierung und Aktualisierung von Dokumenten,
• Infrastruktur – Server, Datenbank und bei lokalen Modellen auch GPUs,
• Monitoring, Evaluierungen und Weiterentwicklung – Aktualisierung von Prompts und Daten, Umstieg auf neuere Modelle.

Die Token-Kosten lassen sich senken: durch ein kleineres Modell für einfachere Aufgaben, einen kürzeren Kontext, Caching-Mechanismen auf Anbieterseite und weniger Aufrufe. Die konkreten Preise hängen vom Modell und vom Anbieter ab – prüfen Sie die aktuelle Preisliste des Herstellers und schätzen Sie die Kosten auf Basis des realen Traffics aus dem MVP.

DSGVO und EU AI Act in KI-Anwendungen

DSGVO

Verarbeitet die Anwendung personenbezogene Daten, gelten sämtliche Grundsätze der DSGVO. In der Praxis bedeutet das unter anderem:

• einen Auftragsverarbeitungsvertrag mit dem Anbieter des Modells und des Hostings,
• eine bewusste Wahl der Region, in der die Daten verarbeitet werden (z. B. im Europäischen Wirtschaftsraum), und die Bewertung von Übermittlungen außerhalb des EWR,
• Datenminimierung – an das Modell gehen nur die Daten, die für die Aufgabe nötig sind,
• eine festgelegte Aufbewahrungsdauer für Gesprächsprotokolle,
• die Prüfung, ob der Anbieter die Daten nicht zum Training von Modellen verwendet,
• bei Bedarf eine Datenschutz-Folgenabschätzung (DSFA).

EU AI Act

Die KI-Verordnung der EU (EU AI Act) stellt Anforderungen, die vom Risikoniveau des Systems abhängen. Manche Praktiken sind verboten, Hochrisikosysteme – etwa in Bereichen wie Personalauswahl oder Kreditwürdigkeitsprüfung – unterliegen detaillierten Pflichten, und für viele typische Anwendungen stehen Transparenzpflichten im Vordergrund, z. B. der Hinweis, dass der Nutzer mit einem KI-System spricht. Die Vorschriften treten schrittweise in Kraft – klären Sie schon in der Projektphase, in welche Kategorie die Anwendung fällt, und prüfen Sie den aktuellen Zeitplan der Pflichten, am besten mit einem Juristen.

KI-Anwendungen – die häufigsten Fehler

• mit der Technologie statt mit dem Problem beginnen,
• Datenqualität und Zugriffsrechte vernachlässigen,
• kein Evaluierungsset – „scheint zu funktionieren“ statt Messung,
• die Architektur an ein einziges Modell binden, ohne Möglichkeit zum Wechsel,
• die Token-Kosten bei wachsendem Traffic unterschätzen,
• kein Weg zu einem Menschen, wenn die KI keine Antwort weiß,
• DSGVO und EU AI Act auf das Projektende verschieben.

Fazit

Eine KI-Anwendung zu entwickeln ist ein Prozess, in dem das Sprachmodell nur ein Baustein ist. Entscheidend sind: ein gut gewähltes Problem, aufbereitete Daten mit geregelten Zugriffsrechten, eine durchdachte Modellwahl, die Architektur (meist RAG), ein schneller Prototyp, ein MVP mit echten Nutzern, Qualitätsevaluierungen, eine schrittweise Einführung, Kostenkontrolle sowie Konformität mit DSGVO und EU AI Act. Diese Reihenfolge zeigt schnell, ob die Idee funktioniert, und verhindert, dass Sie zu viel für eine Lösung ohne Nutzen bezahlen. Soll die Anwendung auch auf Smartphones laufen, sehen Sie sich auch an, wie wir arbeiten: Mobile Apps für iOS und Android für Unternehmen.

Sie haben eine Idee für eine KI-Anwendung? 4B Systems konzipiert und entwickelt sie vom Prototyp bis zur Implementierung – mit Modellauswahl (Claude, GPT, Gemini, Llama, Mistral), RAG, Evaluierungen und unter Berücksichtigung der DSGVO. Lernen Sie unser Angebot zur Entwicklung von KI-Anwendungen für Unternehmen kennen und beschreiben Sie Ihre Idee – ein Angebot erhalten Sie innerhalb von 48 Stunden.

Häufig gestellte Fragen

Wie lange dauert die Entwicklung einer KI-Anwendung?

Das hängt von Umfang, Daten und Integrationen ab. Ein Prototyp, der prüft, ob das Modell die Aufgabe bewältigt, entsteht meist deutlich schneller als ein MVP – und ein MVP schneller als die vollständige Produktivversion. Der genaue Zeitplan wird nach der Analyse von Prozess und Daten festgelegt.

Muss man für eine KI-Anwendung ein eigenes Modell trainieren?

In der Regel nicht. Die meisten Unternehmensanwendungen nutzen fertige Modelle per API oder Open-Weight-Modelle und erhalten das Wissen über das Unternehmen per RAG. Fine-Tuning ist in eng umrissenen Fällen sinnvoll, etwa bei einem speziellen Antwortformat oder -stil.

Was ist RAG in einer KI-Anwendung?

RAG ist eine Architektur, bei der das System zunächst in den Dokumenten des Unternehmens die zur Frage passenden Abschnitte sucht und sie dann zusammen mit der Frage an das Modell übergibt. So stützen sich die Antworten auf aktuelle Quellen, die dem Nutzer angezeigt werden können.

Welches Modell eignet sich für eine KI-Anwendung?

Die Wahl hängt von der Aufgabe, den Anforderungen an die Daten und den Kosten ab. Modelle per API wie Claude, GPT oder Gemini ermöglichen einen schnellen Start, Open-Weight-Modelle wie Llama oder Mistral bieten beim eigenen Hosting volle Kontrolle über die Daten. Am besten vergleichen Sie mehrere Modelle anhand eigener Beispiele.

Was kostet der Betrieb einer KI-Anwendung?

Die laufenden Kosten setzen sich aus Tokens oder Infrastruktur für das Modell, Vektordatenbank, Hosting, Monitoring und Weiterentwicklung zusammen. Die Preise hängen von Modell und Traffic ab – prüfen Sie daher die aktuellen Preislisten der Anbieter und schätzen Sie die Kosten anhand der Daten aus dem MVP.

Muss eine KI-Anwendung die Anforderungen des EU AI Act erfüllen?

Ja, wenn sie in der EU bereitgestellt oder genutzt wird – der Umfang der Pflichten hängt jedoch von der Risikokategorie ab. Für viele Anwendungen sind vor allem Transparenzpflichten entscheidend, Hochrisikosysteme unterliegen deutlich mehr Anforderungen. Die Vorgaben treten schrittweise in Kraft, daher sollte der Zeitplan schon in der Projektphase mit einem Juristen geprüft werden.