Ollama vs OpenAI für Unternehmen: Lokale oder Cloud-Modelle 2026

2024: Lokale Modelle sind ein Kompromiss. Die Qualität ist schlechter als bei GPT-4, aber Sie haben die Daten. 2026: Die Situation hat sich drastisch geändert. Llama 4, Qwen3, Gemma 4 – lokale Modelle haben den Abstand zu proprietären Modellen so geschlossen, dass der Unterschied für die meisten Geschäftsanforderungen kaum noch spürbar ist. Es stellt sich nicht mehr die Frage „Sind lokale Modelle für Unternehmen bereit?“ – sondern „Wann ist OpenAI gerechtfertigt und wann ist es überflüssig?“ Kurze Antwort: Für RAG-Aufgaben (Antworten aus Dokumenten) – ein lokales Modell über Ollama liefert eine Qualität von 91–94 % im Vergleich zu GPT-4 bei null API-Kosten und vollständiger Datenvertraulichkeit. OpenAI ist gerechtfertigt für komplexe Analysen und Generierung. Oder beides – ein hybrider Ansatz.

📚 Inhalt

• Was ist Ollama und wie hat es den Markt für lokale Modelle verändert
• Welche Modelle sind 2026 über Ollama verfügbar: Aktueller Überblick
• Qualität der Antworten: Lokale Modelle vs. GPT-4o – Ein realer Vergleich für RAG
• Reale Kosten: Ollama + Server vs. OpenAI API über 12 Monate
• Hardware-Anforderungen: Was wird für die Produktionsbereitstellung benötigt
• Wann ein lokales Modell die einzige Option ist – DSGVO, Medizin, Anwälte
• Hybrider Ansatz: Ollama für Vertraulichkeit + OpenAI für komplexe Aufgaben
• Wie man von OpenAI zu Ollama wechselt, ohne das System neu zu entwickeln
• Häufig gestellte Fragen
• Schlussfolgerungen
• Möchten Sie einen KI-Assistenten bereitstellen?

Was ist Ollama und wie hat es den Markt für lokale Modelle verändert

Vor der Einführung von Ollama war die Ausführung lokaler LLMs eine technische Herausforderung, selbst für erfahrene Entwickler: Kompilierung aus dem Quellcode, Einrichtung von CUDA, Lösung von Abhängigkeitskonflikten, manuelle Konvertierung von Modellen. Selbst ein Experte konnte einen ganzen Tag damit verbringen, nur um ein Modell zum Laufen zu bringen.

Ollama löst dies mit einem einzigen Befehl. ollama run llama3.3 – und nach wenigen Minuten (Modell-Downloadzeit) haben Sie einen lokalen KI-Assistenten. Ollama lädt das Modell automatisch im optimierten GGUF-Format herunter, passt die Quantisierung an die verfügbare Hardware an und startet einen HTTP-Server mit einem API, das dem von OpenAI entspricht.

Was Ollama technisch bietet

• ✔️ GGUF und Quantisierung: Modelle werden im Vergleich zum Originalformat um das 2- bis 4-fache komprimiert. Llama 3.3 70B benötigt ~43 GB statt ~140 GB bei minimalem Qualitätsverlust (~2–3 %).
• ✔️ OpenAI-kompatibles API: Jede Software, die mit OpenAI arbeiten kann, kann auch automatisch mit Ollama arbeiten – Änderung einer einzigen Konfigurationszeile.
• ✔️ Plattformübergreifend: macOS (Apple Silicon), Linux, Windows. GPU: NVIDIA CUDA, AMD ROCm, Apple Metal. Ohne GPU – CPU-Modus.
• ✔️ Unterstützung für Embedding-Modelle: nomic-embed-text, mxbai-embed-large, BGE-M3 – für einen vollständig geschlossenen Kreislauf ohne externe APIs.
• ✔️ Docker-Unterstützung: Offizielles Docker-Image für einfache Bereitstellung und Reproduzierbarkeit.

Warum 2026 das entscheidende Jahr für lokale Modelle ist

Laut einer unabhängigen Bewertung von Open-Source-LLMs (April 2026): „2025 war das Jahr, in dem Open-Source-LLMs den Abstand zu proprietären Modellen schlossen. 2026 sind sie in vielen Bereichen auf dem gleichen Niveau – oder sogar besser.“ Für Unternehmen bedeutet dies mehr Kontrolle, geringere Lieferantenabhängigkeit und bessere DSGVO-Konformität.

Konkret: Googles Gemma 4 (26B Parameter) erreicht das Niveau von GPT-4 bei 14 GB Größe und 85 Tokens/Sekunde auf Consumer-Hardware. Qwen3 von Alibaba – exzellente Mehrsprachigkeit, einschließlich Ukrainisch. Llama 4 von Meta – neue multimodale und Reasoning-Fähigkeiten. Lokale Modelle sind kein Kompromiss mehr – sie sind eine echte Alternative geworden.

Welche Modelle sind 2026 über Ollama verfügbar: Aktueller Überblick

Wir bei AskYourDocs haben verschiedene Modelle für reale Geschäftsanforderungen getestet – RAG für juristische Dokumente, medizinische Protokolle und Unternehmensrichtlinien. Hier ist die aktuelle Situation per April 2026.

Es ist wichtig zu verstehen: Im Jahr 2026 haben Open-Source-Modelle den Vorsprung proprietärer Modelle so weit aufgeholt, dass die Wahl „lokal vs. Cloud“ nicht mehr die Wahl zwischen „schlechter und besser“ ist – es ist die Wahl zwischen verschiedenen Prioritäten: Vertraulichkeit und Kontrolle vs. maximale Qualität und Geschwindigkeit.

So lesen Sie die Modelltabelle

Quantisierung (Q4, Q5, Q8): Der Grad der Modellkomprimierung. Q4 – das Modell benötigt viermal weniger Speicher als das Original bei einem Qualitätsverlust von ca. 2–3 %. Für Business-RAG empfehlen wir Q4_K_M – den optimalen Ausgleich. Dieses Format verwendet Ollama standardmäßig.

VRAM vs. RAM: VRAM – Videospeicher (GPU), RAM – Arbeitsspeicher des Prozessors. Wenn das Modell nicht in den VRAM passt – wird es in den RAM geladen und läuft auf der CPU. Dies reduziert die Geschwindigkeit erheblich, aber nicht die Qualität der Antworten.

Top-Modelle über Ollama für Business-RAG im Jahr 2026

Mehr über jedes Modell: Was, für wen und warum

Llama 3.3 70B – höchste Qualität für anspruchsvolle RAG-Aufgaben. Das stärkste dichte Open-Source-Modell für die lokale Bereitstellung. 128K Token Kontext erlauben die vollständige Verarbeitung langer juristischer Verträge oder medizinischer Protokolle. Laut ML Journey ist das Modell für mehrsprachige Dialoge optimiert und bleibt eine der stärksten Optionen für RAG. Empfohlen für Anwaltskanzleien und medizinische Zentren, bei denen Genauigkeit entscheidend ist. Benötigt GPU mit 48+ GB VRAM oder einen CPU-Server mit 64 GB RAM (langsamer).

Gemma 4 26B – GPT-4-Niveau in ~15 GB. Google hat Gemma 4 im April 2026 veröffentlicht – und das verändert die lokale Bereitstellung grundlegend. Das Modell basiert auf der MoE-Architektur (Mixture of Experts): insgesamt 26 Milliarden Parameter, aber nur ~4 Milliarden sind bei jeder Anfrage aktiv – daher die kompakte Größe und hohe Geschwindigkeit. Laut einer unabhängigen Bewertung: „Google Gemma 4 erreicht das Niveau von GPT-4 in 14 GB bei 85 Tokens pro Sekunde auf Consumer-Hardware.“ Passt in 16 GB VRAM – die optimale Wahl für die meisten KMUs.

Qwen3 14B – beste Mehrsprachigkeit für UA/DE/EN. Alibaba hat die mehrsprachige Unterstützung in der Qwen3-Serie erheblich verbessert. Für Unternehmen, die gleichzeitig mit ukrainischen, deutschen und englischen Dokumenten arbeiten, ist dies die beste lokale Option. Passt in 12 GB VRAM. Laut Hyaking-Bewertung zeigt Qwen3 eine herausragende Leistung bei mehrsprachigen Aufgaben und im Verständnis von Kontexten bei langen Gesprächen.

Mistral Small 3 (24B) – eine europäische Alternative mit Fokus auf EU-Sprachen. Mistral AI ist ein französisches Unternehmen, und das spiegelt sich in der Qualität der Modelle auf Französisch, Deutsch und anderen europäischen Sprachen wider. Für österreichische und deutsche Kunden – die natürliche erste Wahl. 16 GB VRAM und gute Geschwindigkeit machen es zu einer praktikablen Option für Mittelklasse-GPUs. Lizenz: Apache 2.0 – völlig frei für kommerzielle Nutzung.

Llama 3.2 8B – schneller Start und CPU-Server. Wenn keine GPU vorhanden ist oder das Budget begrenzt ist – Llama 3.2 8B ist der beste Ausgangspunkt. ML Journey: „Llama 3.2 8B bleibt die Standardempfehlung – es balanciert Qualität, Geschwindigkeit und Hardwareanforderungen besser als jedes andere Modell seiner Klasse.“ Auf einem CPU-Server mit 32 GB RAM – antwortet in 30–60 Sekunden. Für einfache FAQs und interne Richtlinien – völlig ausreichend.

Welches Modell für Ihre Nische wählen

Embedding-Modelle für einen vollständig geschlossenen Kreislauf

Für RAG wird nicht nur eine LLM, sondern auch ein Embedding-Modell benötigt – das Dokumente und Anfragen in Vektoren umwandelt, um relevante Inhalte zu finden. Über Ollama sind drei Hauptoptionen verfügbar:

nomic-embed-text – die Basisoption für den Start. 768-dimensionale Vektoren (~275 MB), gute Qualität auf englischen und gemischten Dokumenten, unterstützt sprachübergreifende Suche. Empfohlen, wenn Dokumente hauptsächlich auf Englisch sind oder Sie schnell starten müssen. ollama pull nomic-embed-text

mxbai-embed-large – bessere Qualität für die meisten Aufgaben. 1024-dimensionale Vektoren (~670 MB). Deutlich höhere Genauigkeit bei der Suche als nomic – insbesondere bei technischen und juristischen Texten. Unsere Standardempfehlung für die meisten Geschäftsanforderungen. ollama pull mxbai-embed-large

BGE-M3 – beste Mehrsprachigkeit einschließlich Kyrillisch. 1024 Dimensionen (~1,2 GB), trainiert auf über 100 Sprachen mit gleicher Qualität für lateinische und kyrillische Schrift. Unterstützt sprachübergreifende Suche: Eine Frage auf Ukrainisch findet eine Antwort in einem englischen Dokument und umgekehrt. Für UA/DE/EN-Mehrsprachigkeit-Archive – die erste Wahl. ollama pull bge-m3

Praktische Empfehlung zu Embeddings für UA/DE-Unternehmen

Mehr über die Wahl von Embeddings, Quantisierung und die vollständige Architektur eines geschlossenen Kreislaufs – im Artikel Geschlossener Kreislauf mit Ollama: KI ohne Internet für Unternehmen.

Qualität der Antworten für Unternehmen: Was verlieren Sie wirklich beim Wechsel zu einem lokalen Modell

Eine Frage, die jeder Vorgesetzte vor der Implementierung stellt: „Wenn wir OpenAI entfernen, bekommen unsere Mitarbeiter oder Kunden schlechtere Antworten?“ Lassen Sie uns dies konkret, ohne Marketing, analysieren.

Warum „Intelligenz“ des Modells nicht entscheidend für die Arbeit mit Dokumenten ist

Es gibt einen wichtigen Unterschied zwischen der Art und Weise, wie ChatGPT „aus dem Gedächtnis“ antwortet, und wie ein KI-Assistent auf Ihren Dokumenten funktioniert.

Wenn Ihr Manager fragt „welche Gebühr für eine vorzeitige Vertragsauflösung anfällt?“, erfindet das System keine Antwort. Es findet den entsprechenden Abschnitt in Ihrem Vertrag und fasst ihn zusammen. Die Qualität dieser Zusammenfassung ist bei den besten lokalen Modellen und GPT-4o praktisch identisch. Das Wichtigste ist, den richtigen Abschnitt zu finden, nicht „intelligenter“ zu sein.

Ein einfaches Beispiel: Zwei verschiedene Manager suchen die Antwort in derselben Dokumentenablage. Derjenige, der weiß, wo er suchen muss, findet sie schneller, unabhängig davon, wer von beiden gebildeter ist. Ein KI-Assistent für Dokumente funktioniert genauso: Die „Intelligenz“ des Modells wird nur dann kritisch, wenn eine komplexe Analyse und Synthese erforderlich ist, nicht wenn eine spezifische Antwort gesucht wird.

Ergebnisse unserer Tests mit realen Geschäftsunterlagen

Wir haben vier Modelle auf dem gleichen Datensatz getestet: 400 juristische Dokumente, 200 medizinische Protokolle, 150 technische Katalogpositionen. Jeweils 50 Testfragen pro Aufgabe mit unabhängiger Überprüfung der Antworten.

Was ein Unterschied von 3 % für Ihr Unternehmen bedeutet

Bei 100 Anfragen pro Tag: GPT-4o gibt ~96 vollständige Antworten, Llama 3.3 70B – ~93. Das bedeutet, drei Anfragen pro Tag, bei denen die Antwort ungenau oder unvollständig ist – und ein Mitarbeiter muss die Frage klären oder manuell überprüfen. Für die meisten operativen Aufgaben ist dies akzeptabel.

Es gibt jedoch einen wichtigen Kontext, der in dieser Tabelle fehlt:

Der Genauigkeitsunterschied von 3 % besteht. Aber für die meisten Unternehmen ist er kein Grund, mehr zu bezahlen, vertrauliche Daten nach außen zu geben und von den Bedingungen eines US-Unternehmens abhängig zu sein.

Wo ein Cloud-Modell wirklich besser ist – und wann das wichtig ist

Eine ehrliche Bewertung erfordert die Anerkennung, wo GPT-4o objektiv gewinnt. Dies sind drei spezifische Szenarien:

Komplexe abteilungsübergreifende Analyse. „Vergleichen Sie die Bedingungen von fünf Verträgen und finden Sie heraus, wo wir vom Standard abgewichen sind“ – hier ist GPT-4o merklich genauer. Llama erledigt dies, aber OpenAI ist bei komplexen logischen Ketten konsistenter. Wenn solche Aufgaben die tägliche Arbeit von Anwälten sind, erwägen Sie einen hybriden Ansatz (lokal für operative Aufgaben, Cloud für Analysen).

Generierung von Dokumenten „von Grund auf“. Erstellen eines Memorandums, eines kommerziellen Vorschlags oder eines Berichts basierend auf mehreren Quellen – GPT-4o ist qualitativ hochwertiger. Für die Suche und Wiedergabe vorhandener Informationen – ein lokales Modell ist ausreichend.

Komplexe Finanzberechnungen. NPV, Finanzmodelle, mehrstufige Logik – Cloud-Modelle sind genauer. Für einfache Operationen (Preis, Rabatt, Restbetrag) – ein lokales Modell kommt problemlos zurecht.

Wenn Ihr Szenario hauptsächlich das Nachschlagen von Antworten in vorhandenen Dokumenten ist (FAQs, Protokolle, Kataloge, Verträge) – ein lokales Modell deckt die Aufgabe mit einer Qualität von 90–94 % ab.

Antwortgeschwindigkeit: Was Ihr Mitarbeiter oder Kunde spürt

Technische Tokens pro Sekunde sind irrelevant – wichtig ist, wie sich das während der Arbeit anfühlt.

Wichtiger Kontext zur Geschwindigkeit: Ein Manager, der zuvor 20 Minuten für die manuelle Suche in Dokumenten benötigte, erhält eine Antwort in 15 Sekunden – eine Beschleunigung um das 80-fache. Der Unterschied zwischen 15 und 3 Sekunden ist vor diesem Hintergrund für die interne Nutzung unerheblich.

Welche Option für Ihr Unternehmen geeignet ist

Reale Kosten: Ollama + Server vs. OpenAI API in 12 Monaten

Wir bei AskYourDocs sehen ein typisches Muster: Unternehmen entscheiden sich für die OpenAI API, weil „sie billiger ist“, und erst nach einem Jahr stellen sie fest, dass das DSGVO-Risiko oder der Vendor Lock-in teurer waren als die Differenz bei den API-Kosten. Deshalb vergleichen wir immer die Gesamtkosten – nicht nur die Zahlen auf der Rechnung.

Der Hauptunterschied zwischen den beiden Ansätzen ist: OpenAI – variable Kosten (Sie zahlen pro Anfrage), Ollama – feste Kosten (Sie zahlen für den Server unabhängig von der Anzahl der Anfragen). Bei geringer Auslastung ist OpenAI finanziell vorteilhafter. Bei hoher Auslastung ist Ollama vorteilhafter. Aber es gibt eine dritte Dimension, die in keiner Tabelle zu finden ist: die Kosten des Risikos.

OpenAI API-Preise: Die aktuelle Situation

Preise für die OpenAI API (pro 1 Mio. Tokens, Input / Output), gültig ab April 2026:

Wie eine RAG-Systemanfrage berechnet wird: System-Prompt (~150 Tokens) + gefundene Textstellen aus Dokumenten (~1.000–3.000 Tokens) + Frage (~100 Tokens) + Antwort des Modells (~300 Tokens). Insgesamt: ~1.500–3.500 Input und ~300 Output Tokens pro Anfrage. Diese Zahlen bilden die Grundlage für unsere Berechnungen unten.

Was es wirklich kostet: Drei typische Szenarien

Szenario A: Medizinisches Zentrum – 100 Anfragen/Tag

Typisches Szenario: Patienten oder Administratoren fragen nach Vorbereitung auf Behandlungen, Aufnahmebedingungen, Preise.

Unsere Position: Bei reinen API-Kosten ist OpenAI günstiger – GPT-4o mini kostet $29/Jahr gegenüber €480 für einen CPU-Server. Aber für ein medizinisches Zentrum empfehlen wir niemals eine Cloud-API, unabhängig von den Kosten. Patientenfragen beinhalten nach DSGVO Art. 9 Gesundheitsdaten. Eine einzige aufsichtsrechtliche Anfrage einer österreichischen oder deutschen Aufsichtsbehörde kostet mehr als ein zehnjähriger Betrieb des Ollama-Servers. Hier ist die Wahl keine finanzielle, sondern eine rechtliche.

Szenario B: Distributor – 500 Anfragen/Tag

Manager suchen während Telefonaten Positionen im Katalog, prüfen die Verfügbarkeit, klären technische Parameter.

Unsere Position: Wenn die Daten nicht kritisch sind und keine regulatorischen Anforderungen bestehen, ist GPT-4o mini für $144/Jahr eine sinnvolle Wahl für den Start. Wir empfehlen jedoch, einen Übergang zu Ollama für den Fall steigender Auslastung einzuplanen – bereits bei 1.000 Anfragen/Tag dreht sich die Rechnung. Unternehmen, die in der Cloud starten und später „umrüsten“, geben für die Migration mehr aus, als sie gespart haben.

Szenario C: Große Wissensdatenbank oder aktiver öffentlicher Chat – 2.000+ Anfragen/Tag

Unsere Position: Bei 2.000+ Anfragen/Tag ist Ollama eindeutig besser als GPT-4o (€1.440 vs. $4.800/Jahr). Gegenüber GPT-4o mini ist der Unterschied geringer, aber ein Server bietet eine stabile Kostenstruktur, unabhängig von steigender Auslastung – und GPT-4o mini ist bei 5.000 Anfragen/Tag bereits teurer als eine RTX 3080.

Break-Even-Point: Ab wann sich Ollama rechnet

Bei welcher Anzahl von Anfragen pro Tag rechnet sich ein GPU-Server RTX 3080 (€120/Monat fix) im Vergleich zur OpenAI API:

• Gegen GPT-4o: ab ~590 Anfragen/Tag – Ollama ist günstiger
• Gegen GPT-4.1: ab ~1.500 Anfragen/Tag – Ollama ist günstiger
• Gegen GPT-4o mini: ab ~7.500 Anfragen/Tag – Ollama ist günstiger

Für die meisten KMUs mit einer Auslastung von 100–500 Anfragen/Tag ist GPT-4o mini finanziell vorteilhafter – wenn man nur die Zahlen auf der Rechnung betrachtet. Aber die finanzielle Kalkulation ist nur die halbe Miete.

Drei Kosten, die nicht in den Tabellen stehen – aber wichtig sind

1. Kosten des DSGVO-Risikos. Die maximale Geldbuße bei DSGVO-Verstößen beträgt €20 Mio. oder 4 % des Jahresumsatzes. Eine realistische Geldbuße für KMUs bei erstmaliger Verletzung liegt zwischen €20.000 und €100.000, je nach Land und Art des Verstoßes. Zum Vergleich: Eine GPU RTX 3080 bei Hetzner kostet €1.440/Jahr. Selbst eine einzige Geldbuße deckt die Kosten für einen Ollama-Server für ein Jahrzehnt. Wir empfehlen Cloud-APIs niemals Kunden in den Bereichen Medizin, Recht oder HR – nicht weil es „technisch besser“ ist, sondern weil die Alternative rechtlich inakzeptabel ist.

2. Kosten der Preisinstabilität. OpenAI hat seine API-Preise zwischen 2023 und 2026 mehrmals geändert – in beide Richtungen. Sie schließen einen Jahresvertrag mit einem Kunden zu einem Festpreis für ein Abo ab – und Ihre Selbstkosten können sich ohne Vorwarnung ändern. Mit Ollama sind die Serverkosten fix und hängen nicht von den Entscheidungen eines amerikanischen Unternehmens ab.

3. Kosten des Embeddings bei Cloud-Optionen. Bei jedem Hochladen oder Aktualisieren von Dokumenten müssen alle Textabschnitte über die OpenAI Text-Embedding-API ($0.02/1 Mio. Tokens) vektorisiert werden. Eine Datenbank mit 1.000 Dokumenten à 10 Seiten kostet einmalig ~$0.10. Eine geringe Summe, aber bei wöchentlicher Archivaktualisierung summieren sich die Kosten. Mit Ollama und einem lokalen Embedding-Modell fallen keine Kosten für die Neuindizierung an.

Fazit: Unsere Empfehlungen je nach Situation

Hardware-Anforderungen: Was für ein Produktions-Deployment benötigt wird

Wir bei AskYourDocs implementieren Systeme für Kunden mit unterschiedlichem Budget und unterschiedlicher Auslastung. Nachfolgend drei Konfigurationen, die wir tatsächlich verwenden, und die einzige Regel bezüglich des Providers, die wir niemals brechen.

Drei Stufen: vom minimalen Start bis maximaler Qualität

Stufe 1 – Hypothese testen (nur CPU, ab €30/Monat). Llama 3.2 8B oder Qwen3 14B auf einem Server mit 32 GB RAM. Antwortzeiten von 30–90 Sekunden – akzeptabel für ein internes Tool, bei dem niemand Echtzeit erwartet. Wir empfehlen diese Stufe für die ersten 4–6 Wochen: Bewerten Sie den Wert anhand realer Dokumente und Anfragen, bevor Sie in eine GPU investieren.

Stufe 2 – Produktiver Betrieb (GPU 16 GB, €80–130/Monat). Mistral Small 3 oder Gemma 4 26B auf einer RTX 3080. Antworten in 5–10 Sekunden – komfortabel sowohl für den internen Gebrauch als auch für einen öffentlichen Chat auf der Website. Dies ist die Konfiguration, die wir am häufigsten für Kliniken, Anwaltskanzleien und Distributoren als Startpunkt im produktiven Einsatz empfehlen.

Stufe 3 – Maximale Qualität (GPU 48+ GB, €250–400/Monat). Llama 3.3 70B Q4 – höchste Genauigkeit unter lokalen Modellen (93,5 % bei juristischen und medizinischen Dokumenten). Eine RTX 4090 startet die 70B teilweise über den RAM – Antwortzeit 15–25 Sekunden. Für volle GPU-Geschwindigkeit (8–15 Sek.) werden A100 oder zwei RTX 4090 benötigt. Empfohlen für Unternehmen, bei denen Genauigkeit entscheidend ist und 10+ Sekunden Wartezeit für den Endnutzer inakzeptabel sind.

Konfigurationstabelle

Wo den Server platzieren: Eine Frage, wichtiger als die Hardwarewahl

Dies ist der häufigste Fehler, den wir sehen: Ein Unternehmen wählt das richtige Modell und die richtige Konfiguration – und platziert alles auf AWS Frankfurt oder Azure Germany. Physisch steht der Server in Deutschland, rechtlich unterliegt er der US-amerikanischen Unternehmensgerichtsbarkeit. Der US CLOUD Act erlaubt es US-Strafverfolgungsbehörden, Daten von AWS, Azure und Google Cloud anzufordern, unabhängig davon, wo die Server physisch stehen.

Für medizinische Daten, Anwaltsgeheimnisse und Unternehmensdokumente von EU-Kunden stellt dies ein reales rechtliches Risiko dar, kein theoretisches. Wir implementieren ausschließlich bei EU-Anbietern außerhalb der CLOUD Act-Jurisdiktion.

Unsere Standardwahl ist Hetzner: ISO 27001, Rechenzentren in der EU, Preise 3- bis 5-mal niedriger als AWS bei besserer DSGVO-Konformität. Für Kunden mit den strengsten Anforderungen (Behörden, große Kliniken) ziehen wir eigene Kundenserver oder Hetzner Dedicated in Betracht.

Drei Fragen, die Ihre Konfiguration bestimmen

• Wer wartet auf die Antwort? Kunden oder Patienten in Echtzeit → GPU obligatorisch (Stufe 2+). Interne Mitarbeiter ohne strenge Geschwindigkeitsanforderungen → Nur CPU ist für den Start akzeptabel.
• Welches Modell wird benötigt? 8B–14B → CPU oder GPU 12 GB. 24B–27B → GPU 16 GB. 70B → GPU 48+ GB oder RTX 4090 mit RAM-Offload.
• Sind medizinische, juristische oder HR-Daten im System enthalten? Ja → Nur EU-Anbieter ohne CLOUD Act, unabhängig von der Konfiguration.

Mehr über die Architektur eines geschlossenen Kreislaufs und Konfigurationen für unterschiedliche Auslastungen erfahren Sie im Artikel Geschlossener Kreislauf mit Ollama: KI ohne Internet für Unternehmen.

Wann ein lokales Modell die einzige Option ist – DSGVO, Medizin, Anwälte

Wir bei AskYourDocs übernehmen nicht die Implementierung von Cloud-KI für Kunden mit medizinischen, juristischen oder finanziellen Daten. Nicht weil es „sicherer“ ist – sondern weil es eine spezifische Rechtsnorm gibt, die die Cloud-Option entweder zu einer direkten Verletzung oder einem inakzeptablen Risiko macht. Nachfolgend für jede Nische kurz und prägnant.

Medizinische Zentren und Kliniken

Der häufigste Fehler: „Wir laden keine Patientenakten hoch – nur FAQs zu Behandlungen.“ Aber die Fragen der Patienten sind selbst Gesundheitsdaten nach DSGVO Art. 9. „Wie bereite ich mich auf eine Chemotherapie vor?“ – enthüllt eine Krebserkrankung. „Kann ich Metformin vor einem MRT einnehmen?“ – offenbart Diabetes. Jede solche Anfrage, die an die Server von OpenAI gesendet wird, ist eine Übermittlung besonderer Kategorien personenbezogener Daten ohne entsprechende Rechtsgrundlage.

In Österreich wird dies zusätzlich durch § 54 Ärztegesetz geregelt: Die ärztliche Schweigepflicht steht unter strafrechtlichem Schutz. Die Übermittlung medizinischer Informationen an Dritte ohne ausdrückliche Zustimmung des Patienten – unabhängig davon, wer dieser Dritte ist – stellt eine Verletzung dar. Aufsichtsbehörden in AT und DE haben bereits medizinische Organisationen wegen der Nutzung amerikanischer Cloud-Dienste zur Verarbeitung von Patientendaten bestraft, selbst ohne Datenleck – nur wegen fehlender Rechtsgrundlage.

Unsere Position: Für medizinische Zentren ist Ollama auf einem EU-Server die einzige Architektur, die wir empfehlen und implementieren. Patientenfragen verlassen den Server der Klinik physisch nicht, es gibt keinen grenzüberschreitenden Datentransfer, keine dritte Partei in der Kette.

Mehr über die rechtlichen Anforderungen und sichere Architekturen für die Medizin erfahren Sie im Artikel KI in der Medizin: Wie Gesundheitsdaten gesetzeskonform verarbeitet werden.

Anwaltskanzleien und Notare

Zwei unabhängige Regulierungsquellen – beide weisen in die gleiche Richtung.

Regulatorische Position: Der CCBE (Rat der europäischen Anwaltschaften, 1+ Mio. Anwälte) warnte im Oktober 2025 ausdrücklich davor, dass das Hochladen von Mandantenmaterialien in GenAI-Systeme die Pflichten zur beruflichen Verschwiegenheit verletzen kann – insbesondere wenn Daten vom Anbieter gespeichert oder für das Training verwendet werden. Der FBE verlangt eine Zero-Data-Retention-Policy für jedes KI-Tool in der juristischen Praxis.

Gerichtsurteil: Im Februar 2026 entschied ein US-Bundesgericht (SDNY, Fall Heppner), dass über ein öffentliches KI-Tool erstellte Materialien nicht unter das Anwaltsgeheimnis fallen – da der Nutzer die Daten freiwillig an Dritte weitergegeben hat und keine berechtigte Erwartung auf Vertraulichkeit hatte. Das Gericht betonte, dass der öffentliche Charakter der Plattform und die Datenerfassung durch den Anbieter die Schlüsselfaktoren sind. Dies bedeutet: Wenn Aktenmaterial über eine Cloud-API übermittelt wurde, kann die Gegenseite die Vertraulichkeit dieser Materialien in einem Gerichtsverfahren anfechten.

Unsere Position: Für die Arbeit mit Mandantenakten – nur ein lokales Modell. Ollama auf dem Server der Kanzlei eliminiert die Möglichkeit der „Weitergabe an Dritte“ – das Anwaltsgeheimnis ist architektonisch geschützt, nicht nur auf dem Papier.

Mehr dazu im Artikel KI für Anwaltskanzleien: Datensicherheit.

Finanzinstitute, Behörden und HR

Banken und Versicherungen (AT/DE): BaFin und FMA fordern die Kontrolle über alle Kanäle der Verarbeitung kritischer Daten und eine gesonderte Genehmigung bei der Auslagerung an Drittanbieter. Amerikanische Unternehmen unter dem CLOUD Act erfüllen diese Anforderungen ohne zusätzliche Maßnahmen formal nicht – was einen separaten regulatorischen Prozess oder die Wahl eines EU-Anbieters bedeutet.

Behörden: Der Digital Austria Act 2.0 (2025) schreibt eine Reduzierung der Abhängigkeit von nicht-europäischen Technologien zur Verarbeitung von Bürgerdaten vor. Cloud-KI auf amerikanischen Servern steht diesem Kurs direkt entgegen.

HR – die am meisten unterschätzte Risikozone: Mitarbeiterdaten (Leistungsbewertungen, Gehälter, ärztliche Untersuchungen, Disziplinarfälle) sind personenbezogene Daten, die dem Arbeitgeber zu einem bestimmten Zweck übermittelt werden. Ohne gesonderte Zustimmung zur Übermittlung an OpenAI ist jede Anfrage eines HR-Managers mit diesen Daten ein potenzieller Verstoß gegen DSGVO Art. 6. Ein einfacher Test: Hat jeder Mitarbeiter einer Datenverarbeitung durch ein amerikanisches KI-Unternehmen zugestimmt? Wenn nicht – das Risiko ist real.

Wann Ollama obligatorisch ist: Schnelle Tabelle

Eine vollständige Analyse der Risiken von Datenlecks durch KI finden Sie im Artikel 6 Risiken von Datenlecks durch KI: So schützen Sie Ihr Unternehmen 2026.

Hybrider Ansatz: Ollama für Vertraulichkeit + OpenAI für komplexe Aufgaben

Wir bei AskYourDocs bieten Kunden, denen höchste Analytikqualität wichtig ist, aber grundlegende Anforderungen an die Vertraulichkeit bestehen, einen Hybridmodus. Die Logik ist einfach: 80–90 % der Anfragen an jeden Unternehmens-KI-Assistenten sind einfach und wiederholbar ("Was kostet das?", "Wo finde ich den Punkt?", "Wie bereite ich mich vor?"). Hierfür liefert ein lokales Modell 91–94 % Genauigkeit bei null API-Kosten. Die restlichen 10–20 % sind komplexe Synthesen, bei denen GPT-4o merklich besser ist. Der Hybrid leitet jede Anfrage dorthin, wo sie am effizientesten verarbeitet wird.

So funktioniert es: drei Prinzipien

Dokumente und Suche – immer lokal. Alle Ihre Dateien werden auf einem Server in der EU gespeichert. Die Vektordatenbank und das Embedding-Modell sind ebenfalls lokal. Kein einziges Ihrer Dokumente wird unter keinen Umständen nach außen weitergegeben – weder für einfache noch für komplexe Anfragen.

Einfache Anfragen → Ollama, komplexe → OpenAI mit anonymisiertem Kontext. Bei einer komplexen Anfrage werden nur die gefundenen Textfragmente an OpenAI übermittelt – ohne Dateinamen, Metadaten, Kundennamen oder sonstige Identifikatoren. OpenAI erhält unkontextualisierten Text: "Abschnitt 7.3: Höhere Gewalt umfasst..." – ohne Bezug zu Ihrem Unternehmen oder einer bestimmten Person.

Routing – automatisch oder manuell. Das System kann die Art der Anfrage automatisch erkennen, oder der Administrator legt Regeln fest: z. B. alle Anfragen von Patienten nur über Ollama, Anfragen mit dem Tag "Analyse" von autorisierten Managern – über OpenAI.

Was wird an OpenAI übertragen und was niemals

Anfrage-Routing: Was wohin geht

Realer Fall: Vertreiber von Industrieanlagen

300 Anfragen/Tag von Managern während Kundengesprächen. Katalog – 800 Positionen und 50 technische Vorschriften.

• 270 Anfragen/Tag (90%) → Ollama: "Gibt es eine Pumpe ND-40 mit Flanschanschluss?", "Was kostet das Ventil KV-12?" API-Kosten: €0.
• 30 Anfragen/Tag (10%) → OpenAI: "Vergleiche drei Pumpen und wähle die optimale für die Kundenanforderungen aus", "Erstelle eine Spezifikation für eine Ausschreibung". Nur technische Spezifikationen werden ohne Kundennamen übertragen. Kosten: ~$15/Monat.

Fazit: Ollama GPU RTX 3080 (€120/Monat) + OpenAI für komplexe (~$15/Monat) = €135/Monat. Reines OpenAI GPT-4o für die gleichen 300 Anfragen – $120/Monat, und alle Geschäftsinformationen auf Servern in den USA.

Für wen der Hybrid nicht geeignet ist

Der hybride Ansatz ist die Lösung für die meisten KMUs, aber nicht für alle. Es gibt drei Nischen, in denen wir ihn *nicht* empfehlen:

• Medizinische Zentren (AT/DE): Selbst ein anonymisierter Ausschnitt über eine Prozedur kann einen medizinischen Kontext offenbaren. Die einzige Option ist ein vollständiger geschlossener Kreislauf.
• Anwaltskanzleien mit Fallmaterialien: Die anwaltliche Schweigepflicht erlaubt die Weitergabe von Mandantenfallmaterialien an Dritte selbst in anonymisierter Form nicht.
• Finanzinstitute unter BaFin/FMA: Ein hybrider Kanal zu OpenAI erfordert eine separate regulatorische Genehmigung – was die Einfachheit des Ansatzes zunichtemacht.

Für diese Nischen gilt: nur ein vollständiger geschlossener Kreislauf. Mehr dazu – im Artikel Geschlossener Kreislauf mit Ollama: KI ohne Internet für Unternehmen.

Wie man von OpenAI auf Ollama umsteigt, ohne das System neu zu entwickeln

Eine der häufigsten Sorgen, die wir von Kunden hören: "Wir haben OpenAI bereits integriert – die Migration wird teuer und langwierig." In der Praxis ist das nicht so. Wir führen solche Migrationen in 2–4 Stunden durch, wenn der Server bereits vorbereitet ist, oder in 1–2 Tagen, wenn wir die Infrastruktur von Grund auf neu aufbauen. Kein einziger Code der Geschäftslogik des Systems wird geändert.

Was sich technisch ändert – und nur das

Ollama ist bewusst mit der OpenAI API kompatibel – daher kann jedes System, das mit OpenAI arbeiten kann, auch automatisch mit Ollama arbeiten. Für die Migration reichen drei Änderungen in der Konfiguration aus:

• Server-URL: https://api.openai.com/v1 → http://your-server:11434/v1
• API-Schlüssel: Echter OpenAI-Schlüssel → beliebige Zeichenkette (Ollama prüft keine Authentifizierung, aber das Feld ist obligatorisch)
• Modellname: gpt-4o → llama3.3:70b oder das ausgewählte lokale Modell

Die Systemlogik, die Verarbeitung von Antworten, das Format von Anfragen und die Anzeige von Ergebnissen – bleiben unverändert.

Was wir bei einer schlüsselfertigen Implementierung tun

1. Server und Modell auswählen für Ihre Last, Ihr Budget und Ihre GDPR-Anforderungen – mit Erklärung der Trade-offs für jede Option
2. Ollama auf einem EU-Server bereitstellen – normalerweise Hetzner DE oder FI, je nach Kundenanforderungen
3. Modell herunterladen und testen mit Ihren echten Dokumenten und Fragen zur Abnahme
4. Konfiguration umschalten – URL, Schlüssel, Modellname
5. Dokumente neu indizieren, wenn wir das Embedding-Modell ändern (z. B. von OpenAI text-embedding auf BGE-M3 für Kyrillisch)
6. Abnahmetests durchführen – 20–30 reale Fragen, Vergleich mit der vorherigen Konfiguration, Behebung von Abweichungen

Was nach der Umstellung geprüft werden muss

Möchten Sie die Migration für Ihr System besprechen? Schreiben Sie uns auf Telegram → – wir analysieren Ihre aktuelle Konfiguration und schlagen den optimalen Übergangsweg vor.

Häufig gestellte Fragen

Ist Ollama für die kommerzielle Nutzung kostenlos?

Ollama als Software ist kostenlos und Open Source. Die Modelle haben unterschiedliche Lizenzen: Llama 3.x von Meta erlaubt die kommerzielle Nutzung für Unternehmen mit einer Reichweite von bis zu 700 Millionen Nutzern (was jedes KMU abdeckt), Mistral und Gemma – Apache 2.0 (vollständig freie kommerzielle Lizenz). Qwen hat eine eigene Lizenz, die die kommerzielle Nutzung erlaubt. Überprüfen Sie die Lizenz des jeweiligen Modells vor der kommerziellen Bereitstellung.

Kann Ollama mehrere Anfragen gleichzeitig verarbeiten?

Ja – Ollama unterstützt parallele Verarbeitung. Die Anzahl gleichzeitiger Anfragen hängt vom VRAM ab: auf einer RTX 4090 (24 GB) mit Mistral Small 3 – 3–5 gleichzeitige Anfragen ohne Qualitätsverlust. Für hohe Lasten (50+ gleichzeitige Anfragen) – entweder mehrere GPUs oder der Wechsel zu vLLM für effizienteres Batching.

Was ist besser für mehrsprachige Dokumente (UA + DE + EN)?

Für mehrsprachiges RAG empfehlen wir: LLM – Qwen3 14B oder Llama 3.3 70B (beide unterstützen drei Sprachen gut), Embedding-Modell – BGE-M3 (beste sprachübergreifende Unterstützung, ermöglicht Fragen in einer Sprache, um Dokumente in einer anderen zu finden). Mehr darüber – im Artikel Geschlossener Kreislauf mit Ollama.

Kann man OpenRouter anstelle der direkten OpenAI API verwenden?

Ja. OpenRouter ist ein Aggregator, der über eine einzige Schnittstelle Zugriff auf verschiedene Modelle (GPT-4o, Claude, Mistral, Llama über API) bietet. Er ist auch mit dem OpenAI API-Format kompatibel. Für einen hybriden Ansatz ist OpenRouter bequemer als direktes OpenAI, da er den Wechsel zwischen Anbietern ohne Codeänderung ermöglicht.

Müssen Dokumente neu indiziert werden, wenn das Embedding-Modell geändert wird?

Ja – unbedingt. Die Vektoren in der Datenbank sind an ein bestimmtes Embedding-Modell gebunden. Wenn das Modell geändert wird (z. B. von nomic-embed-text auf BGE-M3) – müssen alle Dokumente neu indiziert werden. Dies geschieht automatisch bei erneutem Hochladen der Dokumente. Die Indizierungszeit beträgt: ~15–30 Minuten für 200 Dokumente auf einem Standardserver.

Schlussfolgerungen

• 🦙 Ollama im Jahr 2026: kein Kompromiss mehr. Gemma 4 27B und Llama 3.3 70B erreichen GPT-4-Niveau für RAG-Aufgaben mit 91–94 % Genauigkeit bei null API-Kosten.
• 💰 Kosten: bei geringer Last (bis zu 200 Anfragen/Tag) ist die OpenAI API günstiger. Bei hoher Last – ist Ollama effizienter. Aber das GDPR-Risiko bei OpenAI API für sensible Daten kann viel teurer sein.
• 🇪🇺 GDPR: für Medizin, Anwälte und staatliche Institutionen in der EU – ist Ollama die einzige rechtlich einwandfreie Option. OpenAI API mit Servern in den USA unterliegt dem CLOUD Act.
• 🔄 Hybrid – das Optimum für die meisten: 80–90 % der Anfragen lokal (null Kosten, null Risiko), 10–20 % komplexe – über OpenAI mit anonymisiertem Kontext.
• ⚡ Migration ist einfach: Änderung von URL und Modellname – das System läuft ohne Neuentwicklung weiter.
• 🌍 Mehrsprachigkeit: Qwen3 und BGE-M3 über Ollama decken UA + DE + EN ohne zusätzliche Konfiguration ab.

Möchten Sie einen KI-Assistenten auf Ollama bereitstellen?

Zeigen Sie uns Ihre Dokumente und erklären Sie uns die Aufgabe. In einer 30-minütigen Demo sehen Sie, wie die KI Echtzeitfragen aus Ihrem Archiv beantwortet – und welche Konfiguration (lokal, Cloud oder hybrid) für Ihr Unternehmen optimal ist.

Auf Telegram schreiben →

Schlüsselfertige Implementierung in 5–7 Tagen. Ab $500 einmalig. Server in der EU unter Ihrer Kontrolle.

Lesen Sie auch

• Geschlossener Kreislauf mit Ollama: KI ohne Internet für Unternehmen
• Self-hosted AI vs. Cloud: Wo Ihre Daten bleiben
• GDPR und KI auf Dokumenten: Was Unternehmen 2026 wissen müssen
• KI-Assistenten für Dokumente: Vergleich von 5 Diensten
• Alle Vergleiche von KI-Tools

⸻

Quellen: Ollama Model Library (April 2026) · Open-Source LLM Comparison 2026 — Till Freitag · Best Open Source LLM Ranking (April 2026) · ML Journey — Best Ollama Models 2026 by Use Case · Hyaking — Best Ollama Models 2026 · Artificial Analysis — LLM Leaderboard · Collabnix — Ollama Performance Comparison