Geschlossener Kreislauf mit Ollama: KI auf Dokumenten ohne Datenübertragung nach außen

Ein medizinisches Zentrum möchte einen KI-Assistenten einführen, der Patienten anhand von Protokollen antwortet. Eine Anwaltskanzlei möchte dies für die Suche in Fällen von Mandanten nutzen. Eine staatliche Einrichtung möchte damit Diensturkunden bearbeiten. Alle drei haben dieselbe Frage: „Bleiben unsere Daten bei uns?“ Bei Cloud-Diensten lautet die Antwort immer „nicht vollständig“. Bei einem geschlossenen System – ja, technisch und rechtlich. Kurze Antwort: Ein geschlossenes System ist ein KI-Assistent, bei dem alle Komponenten (Modell, Datenbank, Dokumente) auf Ihrem Server liegen. Keine Anfrage wird an externe KI-Anbieter weitergeleitet.

📚 Inhalt

• Was ist ein geschlossenes System im Kontext von KI
• Wie Ollama funktioniert und warum es für isolierte Umgebungen geeignet ist
• Welche Modelle lokal verfügbar sind: Vergleich und Empfehlungen für Branchen
• Mehrsprachigkeit: Wie lokale Modelle mit Ukrainisch, Englisch und Deutsch arbeiten
• Architektur: Server + pgvector + Ollama ohne Datenübertragung nach außen
• Leistung eines lokalen Modells vs. GPT-4o: reale Zahlen
• Kosten für Hardware und Server: Was kostet ein geschlossenes System
• Für wen ein geschlossenes System obligatorisch und nicht optional ist
• Schritt-für-Schritt-Deploymentsplan
• Häufig gestellte Fragen
• Fazit
• Möchten Sie ein geschlossenes System einrichten?

Was ist ein geschlossenes System im Kontext von KI

Um zu verstehen, was ein geschlossenes System ist, vergleichen wir es damit, wie die meisten Unternehmen KI derzeit nutzen. Der Unterschied ist vorhanden und hat direkte Auswirkungen auf Ihre GDPR-Verpflichtungen.

Cloud-KI: Ein Mitarbeiter stellt eine Frage → der Text der Frage und ein Dokumentenfragment werden an die Server von OpenAI oder Notion in den USA gesendet → dort verarbeitet das Modell die Anfrage → die Antwort wird zurückgegeben. Während dieser Zeit waren Ihre Daten auf dem Server eines Drittanbieters, in den Protokollen des Anbieters und potenziell für dessen technisches Personal zugänglich. Für Unternehmen mit Kundenverträgen, medizinischen Daten oder Personalunterlagen ist dies kein abstraktes Risiko, sondern ein konkretes rechtliches Problem.

Geschlossenes System: Ein Mitarbeiter stellt eine Frage → die Anfrage wird auf Ihrem Server verarbeitet → das lokale Modell generiert eine Antwort → die Antwort wird zurückgegeben. Der gesamte KI-Prozess findet innerhalb Ihres Servers statt. Weder OpenAI, noch Google, noch ein anderer Anbieter hat Zugriff auf Ihre Anfrage.

Wichtige Klarstellung: Ein „geschlossenes System“ bedeutet nicht, dass der Server physisch vom Internet isoliert ist. Ihre Mitarbeiter und Kunden greifen über normale Kanäle auf das System zu – einen Telegram-Bot, einen Web-Chat auf der Website. Aber die KI-Verarbeitung erfolgt ausschließlich auf Ihrem Server, ohne Weitergabe von Daten an Drittanbieter.

Drei Isolationsstufen – welche wählen Sie für Ihr Unternehmen?

Nicht jeder benötigt die maximale Isolationsstufe. Wir bei AskYourDocs wählen die Stufe gemeinsam mit dem Kunden je nach Branche, regulatorischen Anforderungen und Budget:

Stufe 1: Hybridmodus. Dokumente und Vektordatenbank – auf Ihrem Server. Für die Generierung der Antwort wird ein externer LLM (OpenAI oder Mistral über API) verwendet – aber nur anonymisierte Textfragmente ohne Dateinamen und Metadaten werden daran übermittelt. Geeignet für die meisten Unternehmen ohne strenge regulatorische Anforderungen. Geringste Bereitstellungskosten.

Stufe 2: Geschlossenes System mit lokalem LLM. Alle Komponenten – auf Ihrem Server, einschließlich des Sprachmodells über Ollama. Keine Anfrage geht nach außen. Dies ist unsere Standardwahl für Medizin, Anwälte, HR und Finanzen – wo selbst anonymisierter Text den Perimeter nicht verlassen darf. Genau diese Stufe implementieren wir in den meisten Projekten.

Stufe 3: Vollständige Netzwerkisolation (Air-Gap). Server komplett ohne Internetverbindung. Modell und alle Abhängigkeiten werden von einem physischen Medium installiert. Wird in staatlichen Stellen und im Verteidigungssektor eingesetzt, wo jeglicher Netzwerkverkehr ein Risiko darstellt. Erfordert separate technische Planung.

Für die absolut überwiegende Mehrheit der Geschäftsanforderungen empfehlen wir Stufe 2 – sie bietet die vollständige technische Garantie, dass keine Daten an externe KI-Dienste weitergegeben werden, bei vernünftigen Anforderungen an den Server und Bereitstellungskosten.

Worin unterscheidet sich ein geschlossenes System von „einfach Self-Hosted“?

Ein wichtiger Punkt, der oft verwechselt wird: Self-hosted kann bedeuten, dass Ihre Dokumente bei Ihnen gespeichert werden – die Antwortgenerierung erfolgt jedoch weiterhin über einen externen LLM. Das ist Stufe 1 (Hybrid). Ein geschlossenes System bedeutet, dass sowohl Speicherung als auch Generierung und Embedding ausschließlich auf Ihrem Server stattfinden. Der Unterschied ist entscheidend für regulierte Branchen: Selbst ein anonymisierter Ausschnitt eines Vertrags oder Protokolls, der an eine externe API übermittelt wird, stellt eine rechtlich problematische Datenübertragung dar.

Mehr über den Unterschied und die rechtlichen Konsequenzen – im Artikel Self-hosted AI vs. Cloud: Wo bleiben Ihre Daten?.

Wie Ollama funktioniert und warum es für isolierte Umgebungen geeignet ist

Vor der Einführung von Ollama war das Ausführen eines lokalen Sprachmodells eine echte technische Herausforderung – selbst ein erfahrener Entwickler konnte einen Tag damit verbringen, nur damit das Modell gestartet wird. Jetzt wird dies im Rahmen einer schlüsselfertigen Implementierung gelöst. Um die folgenden Abschnitte zu verstehen, ist es hilfreich, die technische Funktionsweise zu kennen.

Was Ollama leistet: Schlüsselfunktionen

GGUF-Format und Quantisierung. Ollama verwendet ein komprimiertes Format, bei dem das Modell den Speicher zu 2–4 Mal weniger belegt, mit minimalem Qualitätsverlust. Llama 3.3 70B im vollen Format – ~140 GB. Im Q4_K_M-Format – nur ca. 43 GB bei einem Qualitätsrückgang um 2–3 %. In der Praxis ist dieser Unterschied für geschäftliche RAG-Aufgaben nicht spürbar.

Automatische Hardware-Optimierung. Ollama erkennt die Anwesenheit einer GPU und verteilt die Last automatisch. Keine GPU – das Modell läuft auf der CPU, langsamer aber stabil. Das ist wichtig: Sie sind nicht an bestimmte Hardware gebunden.

OpenAI-kompatibles API. Ollama startet einen lokalen API-Server mit einer Oberfläche, die identisch mit dem OpenAI API ist. Um von OpenAI zu Ollama zu wechseln, ändert sich eine Variable im Code – die Server-URL. Keine Überarbeitung der Systemlogik.

Unterstützung für Embedding-Modelle. Ollama unterstützt lokale Embedding-Modelle – nomic-embed-text, mxbai-embed-large, BGE-M3. Die Vektorisierung von Dokumenten erfolgt ebenfalls lokal – keine externen Anfragen, selbst beim Hochladen neuer Dateien.

Embedding ohne Weitergabe von Daten nach außen: Warum das wichtig ist

Bevor die KI Fragen beantworten kann, muss sie Ihre Dokumente „lesen“. Jeder Ausschnitt wird in eine Zahlenmenge (einen Vektor) umgewandelt, die seine Bedeutung kodiert. Dies ermöglicht es der KI, eine Antwort zu finden, auch wenn die Frage kein einziges Wort aus dem Dokument enthält.

Für Unternehmen ist die Frage entscheidend: Wo findet diese Vektorisierung statt? Wenn sie über die OpenAI API erfolgt – werden Ihre Dokumente (auch in Fragmenten) an Server in den USA gesendet. Für Medizin und Anwälte ist dies bereits eine Übermittlung besonderer Datenkategorien ohne rechtliche Grundlage.

Für ein geschlossenes System verwenden wir lokales Embedding über Ollama. mxbai-embed-large ist die optimale Wahl für die meisten geschäftlichen Anwendungsfälle: 1024-dimensionale Vektoren, gute Qualität bei englischen und gemischten Dokumenten. Für Dokumente überwiegend in ukrainischer oder deutscher Sprache empfehlen wir BGE-M3 – trainiert auf über 100 Sprachen mit gleicher Qualität für lateinische und kyrillische Schrift.

Warum Ollama für vertrauliche Umgebungen geeignet ist

• Offline-Betrieb der KI-Komponente nach der Bereitstellung: Das Modell wird einmal heruntergeladen – danach benötigt die KI-Verarbeitung keine Internetverbindung zu externen Diensten.
• Keine Telemetrie: Ollama sendet keine Daten über Anfragen oder Nutzung nach außen.
• Modellversionskontrolle: Eine bestimmte Version wird festgelegt und ändert sich nicht ohne Ihr Wissen – im Gegensatz zu Cloud-APIs, wo der Anbieter das Modell ohne Vorwarnung aktualisieren kann.
• Docker-Bereitstellung: Ollama läuft in einem Docker-Container – vereinfacht Backups, Updates und Wiederherstellungen nach Fehlern.

Welche Modelle lokal verfügbar sind: Vergleich und Empfehlungen für Branchen

Die Wahl des Modells für ein geschlossenes System ist ein Kompromiss zwischen drei Parametern: Antwortqualität, Serveranforderungen und Geschwindigkeit. Ein kleineres Modell antwortet schneller, aber weniger präzise. Ein größeres – ist präziser, aber langsamer und benötigt eine leistungsfähigere GPU. Wir wählen das Modell für das spezifische Szenario des Kunden – es gibt keine „einzige richtige Option“ für alle.

Aktuelle Modelle für Unternehmen über Ollama im Jahr 2026

Geschwindigkeit angegeben für NVIDIA RTX 4090 (24 GB VRAM). Llama 3.3 70B benötigt entweder eine GPU mit 48+ GB oder eine Verteilung zwischen GPU und RAM.

Welches Modell je nach Branche wählen?

Anwaltskanzleien und Notare. Hohe Präzision und langer Kontext für die Analyse von Verträgen sind erforderlich. Wir empfehlen Llama 3.3 70B – 128K Token Kontext ermöglichen die Verarbeitung eines langen Vertrags als Ganzes ohne Aufteilung, was für die juristische Analyse entscheidend ist. Wenn der Server schwach ist – Mistral Small 3 (24B) als Kompromiss: geringere VRAM-Anforderungen bei guter Qualität juristischer Texte.

Medizinische Zentren und Kliniken. Präzision bei der Arbeit mit Protokollen und medizinischen Begriffen – Priorität. Wir empfehlen Llama 3.3 70B oder Gemma 4 26B – letzteres bietet GPT-4-Qualität bei VRAM-Anforderungen wie bei einer 16-GB-Karte. Für Kliniken mit mehrsprachigen Dokumenten (UA + DE) – Qwen3 14B.

HR und Unternehmenswissen. Regelwerke, Verfahren, FAQs – normalerweise einfach strukturierte Texte, bei denen keine überragende Qualität erforderlich ist. Wir empfehlen Llama 3.2 8B oder Gemma 4 26B: ersteres – minimale Hardware, letzteres – höhere Qualität bei moderaten VRAM-Anforderungen.

Distributoren und B2B mit großem Katalog. Technische Spezifikationen und Kataloge erfordern eine präzise Datenextraktion. Wir empfehlen Mistral Small 3 (24B) – versteht technische Terminologie gut, schnelle Antworten, benötigt keine Top-GPU.

Staatliche Einrichtungen. Maximale Isolation, verifizierte Modellquelle. Wir empfehlen Llama 3.3 70B von Meta – offene Lizenz, öffentliche Quelle, breite Community-Unterstützung und unabhängige Sicherheitsaudits.

Mehrsprachigkeit: Wie lokale Modelle mit Ukrainisch, Englisch und Deutsch arbeiten

Für Unternehmen auf dem ukrainischen und DACH-Markt ist Mehrsprachigkeit keine Option, sondern eine Anforderung. Dokumente können in verschiedenen Sprachen vorliegen, Kunden fragen auf ihre eigene Weise, Berichte werden für Partner erstellt. Hier ist die reale Situation, die wir bei der Modellauswahl berücksichtigen.

Englisch – Basissprache, stabile Qualität bei allen Modellen

Alle großen Modelle wurden überwiegend mit englischsprachigen Daten trainiert. Die Qualität der Antworten auf englischen Dokumenten ist bei allen Modellen in unserer Tabelle hervorragend. Wenn Ihre Dokumente überwiegend auf Englisch sind – können Sie das Modell ausschließlich nach Hardware- und Geschwindigkeitsanforderungen auswählen.

Ukrainisch – gute Qualität bei richtiger Auswahl

Die Situation mit Ukrainisch hat sich in den Jahren 2025–2026 erheblich verbessert. Llama 3.3, Qwen3 und Mistral Small 3 enthalten einen erheblichen Anteil ukrainischsprachiger Daten.

• Llama 3.3 70B: versteht und antwortet gut auf Ukrainisch. Kleine grammatikalische Fehler beeinflussen den Inhalt der Antwort nicht.
• Qwen3 14B: das beste mehrsprachige Modell seiner Klasse, einschließlich Kyrillisch. Wir empfehlen es, wenn die Dokumente überwiegend auf Ukrainisch sind.
• Llama 3.2 8B: versteht Ukrainisch, kann aber Sprachen in Antworten mischen – erfordert klare Anweisungen im Systemprompt.
• Embedding für Kyrillisch: Für maximale Qualität auf ukrainischen Dokumenten empfehlen wir BGE-M3 – trainiert auf über 100 Sprachen mit gleicher Qualität für lateinische und kyrillische Schrift.

Deutsch – stabile Qualität für den DACH-Markt

Deutsch ist in den Trainingsdaten der meisten Modelle deutlich besser vertreten als Ukrainisch. Llama 3.3, Mistral und Qwen3 antworten auf Deutsch grammatikalisch korrekt und souverän.

• Mistral Small 3 (24B): besonders stark im Deutschen – Mistral AI (ein französisches Unternehmen) hat den EU-Sprachen viel Aufmerksamkeit geschenkt. Unsere Wahl für österreichische und deutsche Kunden mit einsprachigen DE-Dokumenten.
• Medizinische und juristische Terminologie auf Deutsch – alle führenden Modelle verarbeiten sie korrekt.

Sprachenübergreifende Suche: Frage in einer Sprache, Dokumente in einer anderen

Eine typische Geschäftssituation: Ein Teil der Dokumente ist englisch, ein Teil ukrainisch, und die Fragen kommen in beliebiger Sprache. Hier ist entscheidend – das Embedding-Modell, nicht der LLM.

BGE-M3 – unsere Empfehlung für mehrsprachige Archive: Eine ukrainische Anfrage findet relevante Fragmente aus englischen Dokumenten und umgekehrt. Das funktioniert, weil ein mehrsprachiges Embedding-Modell „договір“ (Vertrag) und „contract“ in ähnlichen Punkten des Vektorraums platziert. Lokal über Ollama ausgeführt: ollama pull bge-m3.

Praktische Empfehlung für UA/DE-Unternehmen

Architektur: Server + pgvector + Ollama ohne Datenweitergabe an Drittanbieter-KI-Dienste

Wir bei AskYourDocs erklären die Architektur nicht, damit der Kunde die technischen Details versteht, sondern damit er dem Regulator oder Anwalt selbstbewusst antworten kann: "Wo werden die Daten gespeichert? Wer hat Zugriff darauf? Verlassen die Daten das Unternehmen?" Hier ist diese Antwort in einfachen Worten.

Vier Komponenten – Was, Wo und Warum

1. Server in der EU. Eine physische oder virtuelle Maschine in einem Rechenzentrum oder in Ihrem Büro. Alle anderen Komponenten laufen darauf. Für die DSGVO-Konformität – ein Server in der EU, der von einem nicht-amerikanischen Unternehmen (Hetzner, OVH) verwaltet wird. Für maximale Isolierung – ein physischer Server direkt in Ihren Räumlichkeiten.

2. PostgreSQL + pgvector. Eine Datenbank, in der Ihre Dokumente in zwei Formaten gespeichert werden: der Originaltext (zur Anzeige der Quelle in der Antwort) und Vektorrepräsentationen (für die Suche). pgvector ist eine PostgreSQL-Erweiterung, die Vektorsuche hinzufügt. Keine zusätzlichen Dienste, keine Cloud-Datenbanken – ein einziger PostgreSQL-Server auf Ihrer Hardware.

3. Ollama. Führt das LLM und das Embedding-Modell lokal aus. Empfängt die Frage, findet relevante Fragmente über pgvector, übergibt sie an das Modell und gibt die Antwort zurück. Der gesamte Prozess findet auf Ihrem Server statt, ohne jegliche externe KI-Anfrage.

4. Chat-Oberfläche oder Telegram/WhatsApp-Bot. Was Ihr Mitarbeiter oder Kunde sieht und nutzt. Die Anfrage kommt hier an, wird an den Server weitergeleitet, lokal verarbeitet und zurückgegeben. Die Integration mit Telegram und WhatsApp funktioniert über deren Bot-APIs – aber die KI-Verarbeitung selbst findet auf Ihrem Server statt.

Wie Daten fließen: Schritt für Schritt

Beim Hochladen von Dokumenten (einmalig):

1. Sie oder Ihr Administrator laden eine PDF- oder Word-Datei über das Admin-Panel hoch.
2. Das System teilt das Dokument in Fragmente auf (ca. 500 Wörter pro Stück).
3. Ollama wandelt jedes Fragment über ein lokales Embedding-Modell in einen Vektor um.
4. Text und Vektor werden in PostgreSQL + pgvector auf Ihrem Server gespeichert.
5. Die Originaldatei wird auf der Festplatte des Servers gespeichert.

In keinem Schritt verlassen die Daten Ihren Server.

Bei der Beantwortung einer Frage (jedes Mal):

1. Ein Mitarbeiter oder Kunde stellt eine Frage im Chat oder Telegram-Bot.
2. Die Frage wird über ein lokales Embedding-Modell in einen Vektor umgewandelt.
3. pgvector findet die 3–5 relevantesten Fragmente aus Ihren Dokumenten.
4. Die gefundenen Fragmente werden zusammen mit der Frage an das lokale LLM (Ollama) übergeben.
5. Das Modell generiert eine Antwort mit Quellenangabe und gibt sie an den Benutzer zurück.

Der gesamte Prozess findet auf dem Server statt. Die Dauer beträgt 3–15 Sekunden, abhängig vom Modell und der Hardware. Kein Schritt erfordert einen externen KI-Dienst.

Minimale Serveranforderungen

Unsere Empfehlung für den Start: Für die meisten Geschäftsanwendungsfälle (bis zu 1000 Dateien, 50–200 Anfragen pro Tag) reichen Llama 3.2 8B oder Gemma 4 26B aus – sie laufen auf einem Server mit 16–32 GB RAM und einer 16 GB GPU oder ohne GPU (langsamer, aber stabil). Llama 3.3 70B wird benötigt, wenn die Qualität der Antworten bei komplexen juristischen oder medizinischen Dokumenten eine kritische Anforderung ist.

Leistung lokaler Modelle vs. GPT-4o: Reale Zahlen

Die Frage, die wir von jedem Geschäftsführer hören: "Wenn wir ein lokales Modell einsetzen, werden die Antworten schlechter sein als bei ChatGPT?" Die Antwort hängt von der Aufgabe ab – und für die meisten Geschäftsszenarien ist sie positiv.

Wo lokale Modelle GPT-4o nicht nachstehen

Für RAG (Beantwortung von Fragen basierend auf Ihren Dokumenten) ist der Unterschied zwischen Llama 3.3 70B und GPT-4o minimal. Der Grund ist einfach: Bei RAG erfindet das Modell keine Antwort – es formuliert sie basierend auf den gefundenen Fragmenten. Bei qualitativ hochwertigem Retrieval liefert auch ein kleineres Modell genaue Antworten. Das "allgemeine Wissen" des Modells ist hier fast unwichtig.

• Suche nach einem bestimmten Punkt in einem Vertrag oder Protokoll: Llama 3.3 70B ≈ GPT-4o
• Extrahieren strukturierter Informationen: Vertragsbeteiligte, Datum, Bedingungen finden – das lokale Modell erledigt dies genauso gut.
• Zusammenfassen eines Dokuments: Kurze Wiedergabe – praktisch identische Qualität.
• FAQ zu Vorschriften und Verfahren: "Wie ist das Dienstreiseverfahren?" – das lokale 70B liefert die gleichen präzisen Antworten.

Wo GPT-4o einen echten Vorteil hat

• Komplexe Multidokumentenanalyse: Synthese einer juristischen Position aus mehreren Quellen, Suche nach Widersprüchen zwischen Dokumenten – GPT-4o ist genauer.
• Generierung neuer Dokumente "von Grund auf": Verfassen eines Memorandums oder Berichts – GPT-4o ist qualitativ besser.
• Komplexe Mathematik und logische Ketten: Finanzielle Berechnungen – Cloud-Modelle sind präziser.

Wenn diese Szenarien in Ihrem Unternehmen vorkommen – empfehlen wir einen hybriden Ansatz: 80–90 % der Anfragen werden lokal verarbeitet, komplexe Analysen ohne sensible Daten – über eine Cloud-API.

Reale Geschwindigkeitszahlen

Praktische Schlussfolgerung: 10–15 Sekunden für Llama 3.3 70B auf einer GPU sind für 80 % der Unternehmensszenarien akzeptabel. Ein Manager, der zuvor 20 Minuten für die manuelle Suche in Dokumenten aufwendete, erhält eine Antwort in 15 Sekunden – das ist eine Beschleunigung um das 80-fache. Der Unterschied zwischen 15 und 3 Sekunden ist in diesem Zusammenhang unerheblich. Für öffentliche Chats, bei denen eine schnelle Reaktion wichtig ist, empfehlen wir Gemma 4 26B oder Mistral Small 3: diese antworten in 5–8 Sekunden bei ausreichender Qualität für FAQs und prozedurale Fragen.

Unsere Tests mit echten Geschäftsunterlagen

Wir haben Llama 3.3 70B und GPT-4o auf demselben Datensatz getestet: 400 juristische Dokumente (Verträge, Normen). Aufgaben: Suche nach einem bestimmten Punkt, Prüfung auf Vorhandensein einer Klausel, Extraktion von Vertragsparteien. Ergebnis: Llama 3.3 70B – 91 % korrekte Antworten, GPT-4o – 94 %. Der Unterschied von 3 Prozentpunkten ist für die meisten Geschäftsanwendungen akzeptabel – und wird durch die Abwesenheit von DSGVO-Risiken und null API-Kosten vollständig kompensiert.

Kosten für Hardware und Server: Was kostet der geschlossene Kreislauf

Variante 1: Cloud-VPS mit GPU (empfohlen für den Start)

Der einfachste Weg ist die Miete eines VPS mit GPU bei einem Cloud-Anbieter in der EU. Vorteile: keine eigene Hardware nötig, der Anbieter ist für die Ausrüstung verantwortlich, einfache Skalierung. Wichtig für DSGVO: Wir verwenden ausschließlich Anbieter unter EU-Gerichtsbarkeit – außerhalb des Geltungsbereichs des US CLOUD Act. Vast.ai und ähnliche GPU-Marktplätze empfehlen wir nicht für Geschäftsdaten: hier ist die Betreiberperson des Knotens und der tatsächliche Standort der Daten nicht garantiert.

⭐ Alle Anbieter in der Tabelle haben EU-Gerichtsbarkeit, außerhalb des Geltungsbereichs des US CLOUD Act. Hetzner (Deutschland), OVHcloud (Frankreich), Scaleway (Frankreich) sind ISO 27001 zertifiziert.

Variante 2: Eigenes physisches Server (maximale Isolation)

Wenn Daten Ihr Firmengelände überhaupt nicht verlassen dürfen (Air-Gap-Anforderung) oder Sie die Abhängigkeit von einem Cloud-Anbieter vollständig ausschließen möchten – ein eigener Server im Büro. Wir implementieren Ollama und den gesamten Stack auf Ihrer Hardware – Sie erhalten ein System, das physisch niemals mit externen KI-Diensten verbunden wird.

Gesamtkostenvergleich pro Jahr

Unser Fazit zu den Kosten: Für Unternehmen ohne strenge regulatorische Anforderungen ist der Hybridmodus der günstigste Einstieg. Der geschlossene Kreislauf auf GPU ist teurer – aber für Medizin-, Rechts- und Finanzunternehmen ist es die einzige Option, bei der das DSGVO-Risiko technisch nicht vorhanden ist. Eine einzige regulatorische Anfrage oder Bußgeld übersteigt leicht die Differenz der Serverkosten über mehrere Jahre. Wir berechnen immer die Gesamtkosten zusammen mit dem Kunden – einschließlich der juristischen Seite –, bevor wir ein bestimmtes Isolationsniveau empfehlen.

Für wen ist ein geschlossener Kreislauf zwingend und nicht optional?

Wir bei AskYourDocs sehen ein Muster: Die meisten Kunden, die sich für einen geschlossenen Kreislauf entscheiden, tun dies nicht aus Paranoia, sondern aufgrund spezifischer regulatorischer oder reputationsbezogener Anforderungen. Hier ist, wann ein geschlossener Kreislauf keine Option, sondern die einzig akzeptable Lösung ist.

Medizinische Zentren und Kliniken

Gesundheitsdaten sind gemäß Art. 9 DSGVO eine Sonderkategorie mit dem höchsten Schutzniveau. Jede Übermittlung von Krankenakten, Patientenanfragen oder Behandlungsplänen an Dritte ohne ausdrückliche Zustimmung und Rechtsgrundlage stellt eine direkte Verletzung dar. Selbst die Frage "Wie bereitet man sich auf eine Chemotherapie vor?" enthüllt eine Krebserkrankung und fällt unter Art. 9 Daten. In Österreich ist die ärztliche Schweigepflicht strafrechtlich geschützt (Ärztegesetz § 54), und die Datenschutzbehörde hat den strengsten Standard in der EU für die Datenübertragung in die USA festgelegt.

Unser Standpunkt: Für medizinische Zentren implementieren wir keinen Hybridmodus – nur einen geschlossenen Kreislauf auf einem EU-Server. Mehr dazu im Artikel KI in der Medizin: Wie man Gesundheitsdaten gesetzeskonform verarbeitet.

Anwaltskanzleien und Notare

Das Anwaltsgeheimnis ist ein grundlegendes Rechtsprinzip. Das Hochladen von Mandantenfallmaterialien in ChatGPT oder Notion AI ohne ausdrückliche Zustimmung des Mandanten verletzt das Anwaltsgeheimnis, unabhängig davon, ob tatsächlich jemand auf diese Daten zugegriffen hat. Der CCBE (Rat der Europäischen Anwaltschaften) warnte im Jahr 2025 ausdrücklich vor cloudbasierten GenAI-Systemen. Ein US-Bundesgericht entschied im Februar 2026, dass über öffentliche KI-Tools vorbereitete Materialien nicht unter das Anwaltsgeheimnis fallen.

Unser Standpunkt: Ein geschlossener Kreislauf eliminiert die Möglichkeit der "Weitergabe an Dritte" – das Anwaltsgeheimnis ist architektonisch und nicht nur auf dem Papier geschützt. Mehr dazu im Artikel KI für Anwaltskanzleien: Sicherheit von Mandantendaten.

Staatliche und kommunale Einrichtungen

Die Verarbeitung personenbezogener Daten von Bürgern auf den Servern amerikanischer Unternehmen ist aufgrund von Anforderungen an die Datenhoheit in den meisten EU-Ländern de facto verboten. Der CLOUD Act erlaubt US-Strafverfolgungsbehörden, den Zugriff auf Daten bei AWS, Azure und Google Cloud zu verlangen, unabhängig vom physischen Standort der Server. Für die meisten staatlichen Strukturen ist ein geschlossener Kreislauf auf nationaler oder EU-Infrastruktur die einzige Option, für einen Teil davon eine vollständige Netzwerkisolation (Air-Gap).

Finanzinstitute und Versicherer

BaFin (Deutschland) und FMA (Österreich) haben klare Anforderungen an die Kanäle der Verarbeitung von Finanzdaten und die obligatorische Genehmigung bei der Auslagerung an Drittanbieter. Kreditakten, Kundenkonten und Versicherungsverträge dürfen ohne Genehmigung der Aufsichtsbehörde nicht auf Server außerhalb der definierten Gerichtsbarkeit übertragen werden. Ein geschlossener Kreislauf auf einem EU-Server löst dies systemisch und ohne separates regulatorisches Verfahren.

HR-Abteilungen und die Verarbeitung von Mitarbeiterdaten

Personenbezogene Daten von Mitarbeitern – Bewertungen, Gehälter, ärztliche Untersuchungen, Disziplinarverfahren – unterliegen erhöhten Schutzanforderungen. Mitarbeiter haben nicht zugestimmt, ihre Daten an OpenAI oder Notion weiterzugeben. Jede Anfrage eines HR-Managers mit diesen Daten über Cloud-KI stellt eine potenzielle Verletzung von Art. 6 DSGVO dar. Ein geschlossener Kreislauf eliminiert dieses Problem architektonisch.

Unternehmen mit Anforderungen von B2B-Kunden oder Partnern

Ihre Kunden oder Partner können ausdrücklich bestätigen lassen, dass ihre Daten nicht auf externen Servern verarbeitet werden. Ein ISO 27001- oder SOC 2-Zertifikat eines Cloud-KI-Anbieters ist kein solcher Nachweis. Die technische Dokumentation eines geschlossenen Kreislaufs und die architektonische Garantie, dass keine externen Anfragen erfolgen, sind es jedoch.

Mehr zu all diesen Szenarien und rechtlichen Anforderungen erfahren Sie im Artikel 6 Risiken von Datenlecks durch KI: So schützen Sie Ihr Unternehmen im Jahr 2026.

So implementieren wir einen geschlossenen Kreislauf: Schritt-für-Schritt-Plan

Dieser Plan ist für Geschäftsleitung und nicht für Entwickler geschrieben. Ihre IT-Abteilung wird nicht benötigt.

Schritt 1: Vorbereitung der Dokumente – Ihre Aufgabe (1–2 Tage)

Bevor das System implementiert wird, müssen die Dokumente zum Hochladen bereit sein:

• Format: PDF mit Textebene (keine Scans), Word (DOCX), Google Docs oder TXT. Gescannte PDFs ohne OCR kann die KI nicht lesen, diese müssen vorher konvertiert werden.
• Aktualität: Nur aktuelle Versionen. Veraltete Regelwerke liefern veraltete Antworten – wir bitten Sie, die Aktualität vor dem Hochladen zu überprüfen.
• Umfang für den Start: 50–200 Dateien sind ausreichend. Das System funktioniert gleichermaßen gut mit 10 oder 10.000 Dokumenten.

Mehr zur Dokumentenvorbereitung im Artikel Wie man Dokumente für einen KI-Assistenten vorbereitet.

Schritt 2: Serverauswahl und -konfiguration – Unsere Aufgabe (1 Tag)

Wir wählen die Konfiguration gemeinsam mit Ihnen aus: Anzahl der Dokumente, Auslastung (Anfragen pro Tag), Anforderungen an die Antwortqualität und DSGVO-Level.

• Für die meisten Unternehmen – VPS mit GPU bei Hetzner (Nürnberg oder Finnland) oder OVHcloud (Straßburg). Ein Server in der EU unter der Verwaltung eines nicht-amerikanischen Unternehmens löst die DSGVO-Konformität standardmäßig.
• Für maximale Isolation – ein physischer Server in Ihrem Büro oder Rechenzentrum.
• Installation von Ubuntu, Docker, Ollama, PostgreSQL + pgvector – ein automatisierter Prozess, 2–3 Stunden.

Schritt 3: Laden der Modelle – Unsere Aufgabe (einige Stunden)

• Herunterladen von LLMs über Ollama entsprechend der gewählten Konfiguration (z.B. Llama 3.3 70B Q4 – ca. 43 GB, 30–60 Minuten).
• Herunterladen des Embedding-Modells (nomic-embed-text oder BGE-M3 – ca. 0,5–1,5 GB).
• Konfiguration des System-Prompts: Antwortsprache, Format, Einschränkungen (ausschließlich auf Grundlage Ihrer Dokumente antworten).
• Nach der Konfiguration benötigt die KI-Verarbeitung keine externen KI-Dienste. Telegram oder ein Web-Chat für den Benutzerzugriff werden über ihre Standardprotokolle verbunden.

Schritt 4: Hochladen und Vektorisieren von Dokumenten – Unsere Aufgabe (1–4 Stunden)

• Hochladen Ihrer Dokumente über das Admin-Panel oder ein automatisiertes Skript.
• Das System teilt jedes Dokument automatisch in Fragmente, vektorisiert es über ein lokales Embedding-Modell und speichert es in pgvector.
• Verarbeitungszeit: ca. 100 Dokumente in 15–30 Minuten auf einem Standardserver.

Schritt 5: Konfiguration der Benutzeroberfläche – Unsere Aufgabe (1 Tag)

• Web-Chat zur Einbettung auf Ihrer Website (eine Codezeile).
• Telegram-Bot oder WhatsApp-Bot für die interne Nutzung durch das Team.
• Origin Filter: Der Chat ist nur von Ihren erlaubten Domains oder IP-Adressen zugänglich.
• Konfiguration der Anfrageprotokollierung für Analyse und Audit (optional).

Schritt 6: Testen und Übergabe – Gemeinsam (30 Minuten)

• Sie stellen 10–15 reale Fragen zu Ihren Dokumenten und überprüfen die Qualität der Antworten.
• Wir passen die Einstellungen an, falls die Qualität nicht zufriedenstellend ist – bis zu Ihrer Bestätigung.
• Übergabe aller Administratorzugänge: Server, Datenbank, Admin-Panel.
• Nach der Übergabe haben wir keinen Zugriff mehr auf Ihren Server. Das ist kein Versprechen, sondern eine architektonische Garantie.

Nach dem Start: So funktioniert die Dokumentenaktualisierung

Sie laden eine neue oder aktualisierte Datei über das Admin-Panel hoch → das System vektorisiert sie automatisch → nach 2–3 Minuten antwortet der Assistent basierend auf dem neuen Dokument. Keine IT-Abteilung erforderlich. Support nach dem Start – 30 Tage inklusive, danach nach Vereinbarung ab 50 $/Monat.

Häufig gestellte Fragen

Kann das System vollständig ohne externe KI-Dienste arbeiten?

Ja – die KI-Verarbeitung benötigt nach der Konfiguration keinerlei externe KI-Dienste. Für Telegram- oder WhatsApp-Integrationen wird minimaler Traffic zu den Servern des Messengers genutzt – aber nicht zu KI-Anbietern (OpenAI, Anthropic etc.). Wenn eine vollständige Netzwerkisolation (Air-Gap ohne Internetzugang) benötigt wird – wird das System mit einer Weboberfläche in Ihrem lokalen Netzwerk ohne jegliche externe Verbindungen bereitgestellt.

Wie schwierig ist die Aktualisierung von Dokumenten?

Sehr einfach. Sie laden ein neues oder aktualisiertes Dokument über das Admin-Panel (Drag-and-Drop) hoch – das System verarbeitet und vektorisiert es automatisch. Nach 2–3 Minuten antwortet der Assistent basierend auf dem neuen Dokument. Die alte Version wird automatisch ersetzt, wenn der Name derselbe ist. Keine IT-Kenntnisse erforderlich – jeder Administrator kommt damit selbst zurecht.

Was passiert, wenn der Server ausfällt?

Bei einem Cloud-VPS (Hetzner, OVH) – automatischer Neustart über Docker, üblicherweise 2–5 Minuten Ausfallzeit. Bei einem physischen Server im Büro – wir richten den Autostart nach Wiederherstellung der Stromversorgung ein. Wir richten ein automatisches Backup der Datenbank auf eine externe verschlüsselte Festplatte ein – für den Fall eines Hardwaredefekts des Servers.

Wie viele Benutzer können gleichzeitig mit dem System arbeiten?

Abhängig vom Modell und der Hardware. Für Llama 3.2 8B oder Gemma 4 26B auf einer 16 GB GPU – 5–10 gleichzeitige Anfragen ohne spürbare Verlangsamung. Für Llama 3.3 70B – 2–3 gleichzeitige. Für höhere Lasten – Anfragen-Warteschlange oder ein leistungsstärkerer Server. Für die meisten Büroaufgaben (100–200 Anfragen pro Tag) ist die Standardkonfiguration ausreichend.

Ist es möglich, später von einem Hybridmodus auf einen geschlossenen Kreislauf umzusteigen?

Ja, und das ist eines unserer häufigsten Szenarien. Unternehmen beginnen mit einem Hybridmodus (geringere Startkosten) und wechseln zu einem geschlossenen Kreislauf, wenn das Volumen steigt oder strengere DSGVO-Anforderungen erfüllt werden müssen. Die Migration dauert 1–2 Tage: Dokumente sind bereits im System vorhanden, es muss nur noch der externe LLM durch ein lokales Ollama ersetzt und auf lokale Embeddings umgestellt werden. Keine Anpassung der Geschäftslogik erforderlich.

Fazit

• 🏠 Geschlossener Kreislauf: Die einzige Lösung, bei der Daten den Perimeter technisch nicht verlassen können – nicht durch das Versprechen eines Anbieters, sondern durch die Architektur.
• 🦙 Ollama: Hat lokale LLMs für Unternehmen zugänglich gemacht – wir implementieren schlüsselfertig ohne IT-Abteilung auf Kundenseite.
• 📊 Qualität: Llama 3.3 70B erreicht 91 % Genauigkeit bei RAG-Aufgaben im Vergleich zu 94 % bei GPT-4o – ein Unterschied von 3 % ist akzeptabel und wird durch das Fehlen von DSGVO-Risiken und null API-Kosten ausgeglichen.
• 🌍 Mehrsprachigkeit: Ukrainisch, Englisch und Deutsch werden unterstützt. Für kyrillische Zeichen liefern Qwen3 14B und BGE-M3 Embedding das beste Ergebnis.
• 💰 Kosten: Ab 30 €/Monat (nur CPU) bis 350 €/Monat (GPU 24 GB) – vergleichbar oder günstiger als Enterprise Cloud-Pläne, wenn man die Anwaltskosten und DSGVO-Risiken berücksichtigt.
• ⏱️ Implementierung: 5–7 Werktage schlüsselfertig. Nach der Übergabe haben wir keinen Zugriff mehr auf Ihren Server.
• 🏥 Zwingend für: Medizin (DSGVO Art. 9), Anwälte (Anwaltsgeheimnis), staatliche Strukturen (Datenhoheit), Finanzen (Anforderungen BaFin/FMA).

Möchten Sie einen geschlossenen Kreislauf implementieren?

Zeigen Sie uns Ihre Dokumente und Aufgaben – in einem 30-minütigen Demo sehen Sie, wie die KI auf reale Fragen aus Ihrem Archiv antwortet. Und wo Ihre Daten dabei physisch gespeichert werden.

Schreiben Sie uns auf Telegram →

Möchten Sie die Lösung in Aktion sehen? askyourdocs.org/de/#try-demo

Schlüsselfertige Implementierung in 5–7 Tagen. Ohne IT-Abteilung. Daten bleiben auf Ihrem Server in der EU. Mehr zu DSGVO im Artikel DSGVO und KI für Dokumente: Was Unternehmen im Jahr 2026 wissen müssen.

Lesen Sie auch

• Self-hosted KI vs. Cloud: Wo Ihre Daten verbleiben
• DSGVO und KI für Dokumente: Was Unternehmen im Jahr 2026 wissen müssen
• 6 Risiken von Datenlecks durch KI: So schützen Sie Ihr Unternehmen im Jahr 2026
• KI für Anwaltskanzleien: Sicherheit von Mandantendaten
• KI in der Medizin: Wie man Gesundheitsdaten gesetzeskonform verarbeitet
• Alle Artikel über Datensicherheit und KI

⸻

Quellen: Ollama Model Library · Best Ollama Models: Performance Comparison · Local AI Models Directory 2026 · The State of Local LLMs 2025–2026 · Was sind Embeddings: Wie KI die Bedeutung von Text versteht (und nicht nur Wörter)