Медичний центр хоче впровадити AI-асистента для відповідей пацієнтам на основі протоколів. Юридична фірма — для пошуку по клієнтських справах. Державна установа — для роботи зі службовими документами. У всіх трьох одне спільне питання: "Чи залишаться наші дані у нас?" З хмарними сервісами відповідь завжди "не повністю". З закритим контуром — так, технічно і юридично.
Коротка відповідь: закритий контур — це AI-асистент де всі компоненти (модель, база даних, документи) знаходяться на вашому сервері. Жоден запит не передається стороннім AI-провайдерам.
⚡ Коротко
- 🏠 Закритий контур: LLM + embedding модель + векторна база — все на вашому сервері, стороннім AI-сервісам дані не передаються
- 🦙 Ollama: інструмент який дозволяє запустити потужну мовну модель на звичайному сервері — розгортається під ключ без технічних знань з вашого боку
- 📊 Моделі 2026: Llama 3.3 70B за якістю відповідей на бізнес-документах наближається до GPT-4 — і працює повністю на вашому сервері
- 🌍 Мультимовність: українська, англійська і німецька — сучасні моделі розуміють всі три без додаткового налаштування
- 💰 Вартість: сервер для закритого контуру — від €80/місяць у хмарі або від €2,000 разово для власного заліза
- 🏥 Обов'язково для: медицини, юристів, держструктур, HR і будь-кого з вимогою GDPR і конфіденційності
- 👇 Нижче — повний розбір архітектури, цифри продуктивності і покроковий план для бізнесу
📚 Зміст
Що таке закритий контур в контексті AI
Закритий контур — це режим роботи AI-системи де всі компоненти розгорнуті на вашому сервері і жоден запит не передається стороннім AI-сервісам. Ні документи, ні питання користувачів, ні відповіді моделі не виходять за межі вашої інфраструктури.
Щоб зрозуміти що таке закритий контур — порівняємо з тим як більшість бізнесів використовують AI зараз. Різниця є і вона має безпосередній вплив на вашу GDPR-відповідальність.
Хмарний AI: співробітник задає питання → текст питання і фрагмент документа передається на сервери OpenAI або Notion у США → модель там обробляє → відповідь повертається назад. За цей час ваші дані побували на чужому сервері, в логах провайдера і потенційно доступні його технічному персоналу. Для компаній з клієнтськими договорами, медичними даними або кадровою документацією — це не абстрактний ризик, а конкретна правова проблема.
Закритий контур: співробітник задає питання → запит обробляється на вашому сервері → локальна модель генерує відповідь → відповідь повертається. Весь AI-процес відбувається всередині вашого сервера. Ні OpenAI, ні Google, ні будь-який інший провайдер не має доступу до вашого запиту.
Важливе уточнення: "закритий контур" не означає що сервер фізично ізольований від інтернету. Ваші співробітники і клієнти підключаються до системи через звичайні канали — Telegram-бот, веб-чат на сайті. Але AI-обробка відбувається виключно на вашому сервері, без передачі даних стороннім сервісам.
Три рівні ізоляції — яку обрати для вашого бізнесу
Не всім потрібен максимальний рівень ізоляції. Ми в AskYourDocs обираємо рівень разом з клієнтом залежно від галузі, регуляторних вимог і бюджету:
Рівень 1: Гібридний режим. Документи і векторна база — на вашому сервері. Для генерації відповіді використовується зовнішній LLM (OpenAI або Mistral через API) — але до нього передаються тільки анонімізовані текстові фрагменти без назв файлів і метаданих. Підходить для більшості бізнесів без жорстких регуляторних вимог. Найнижча вартість розгортання.
Рівень 2: Закритий контур з локальним LLM. Всі компоненти — на вашому сервері, включаючи мовну модель через Ollama. Жоден запит не виходить назовні. Це наш стандартний вибір для медицини, юристів, HR і фінансів — де навіть анонімізований текст не повинен покидати периметр. Саме цей рівень ми розгортаємо в більшості проектів.
Рівень 3: Повна мережева ізоляція (air-gap). Сервер без підключення до інтернету взагалі. Модель і всі залежності встановлюються з фізичного носія. Використовується в держструктурах і оборонному секторі де будь-який мережевий трафік є ризиком. Вимагає окремого технічного планування.
Для абсолютної більшості бізнес-задач ми рекомендуємо Рівень 2 — він дає повну технічну гарантію відсутності передачі даних стороннім AI-сервісам при розумних вимогах до сервера і вартості розгортання.
Чим закритий контур відрізняється від "просто self-hosted"
Важливий нюанс який часто плутають: self-hosted може означати що ваші документи зберігаються у вас — але генерація відповіді все одно йде через зовнішній LLM. Це Рівень 1 (гібрид). Закритий контур — коли і зберігання, і генерація, і embedding відбуваються виключно на вашому сервері. Різниця принципова для регульованих галузей: навіть анонімізований фрагмент договору або протоколу переданий зовнішньому API є юридично проблематичною передачею даних.
Детальніше про різницю та юридичні наслідки — у статті Self-hosted AI vs хмарний: де залишаються ваші дані.
Як працює Ollama і чому вона підходить для ізольованих середовищ
Ollama — це програма яка дозволяє запустити потужну AI-модель на звичайному сервері. Вона автоматично вирішує всі технічні складнощі: завантаження моделі, оптимізація під залізо, запуск API-сервера. З боку клієнта нічого встановлювати не потрібно — ми розгортаємо Ollama на сервері, ви отримуєте готовий чат-інтерфейс.
До появи Ollama запустити локальну мовну модель було справжнім технічним випробуванням — навіть досвідчений розробник міг витратити день тільки на те щоб модель запустилась. Зараз це вирішується в межах впровадження під ключ. Для розуміння наступних секцій корисно знати як це влаштовано технічно.
Що робить Ollama: ключові можливості
Формат GGUF і квантизація. Ollama використовує стиснутий формат де модель займає в 2–4 рази менше пам'яті з мінімальною втратою якості. Llama 3.3 70B в повному форматі — ~140 GB. У форматі Q4_K_M — лише ~43 GB при зниженні якості на 2–3%. На практиці для бізнес-RAG-задач ця різниця непомітна.
Автоматична оптимізація під залізо. Ollama визначає наявність GPU і розподіляє навантаження автоматично. Немає GPU — модель працює на CPU, повільніше але стабільно. Це важливо: ви не прив'язані до конкретного заліза.
OpenAI-сумісний API. Ollama запускає локальний API-сервер з інтерфейсом ідентичним OpenAI API. Для переходу з OpenAI на Ollama в коді змінюється одна змінна — URL сервера. Жодної переробки логіки системи.
Підтримка embedding моделей. Ollama підтримує локальні embedding моделі — nomic-embed-text, mxbai-embed-large, BGE-M3. Векторизація документів теж відбувається локально — жодних зовнішніх запитів навіть при завантаженні нових файлів.
Embedding без передачі даних назовні: чому це важливо
Перш ніж AI може відповідати на питання — він повинен "прочитати" ваші документи. Кожен фрагмент перетворюється на набір чисел (вектор) який кодує його сенс. Саме це дозволяє AI знаходити відповідь навіть якщо у питанні немає жодного слова з документа.
Для бізнесу критичне питання: де відбувається ця векторизація? Якщо через OpenAI API — ваші документи (навіть фрагментами) передаються на американські сервери. Для медицини і юристів це вже є передачею спеціальних категорій даних без правової підстави.
| Варіант |
Embedding модель |
Де відбувається |
Вартість |
Закритий контур? |
| Локальна (Ollama) |
nomic-embed-text, mxbai-embed-large, BGE-M3 |
Ваш сервер |
$0 |
✅ Так |
| Хмарна (OpenAI) |
text-embedding-3-small |
Сервери OpenAI (США) |
$0.02 / 1M токенів |
❌ Ні — фрагменти документів йдуть в API |
| Гібридна |
Локальна embedding + зовнішній LLM |
Embedding локально, генерація — зовні |
~$3–15/місяць |
⚠️ Часткова ізоляція |
Для закритого контуру ми використовуємо локальну embedding через Ollama. mxbai-embed-large — оптимальний вибір для більшості бізнес-задач: 1024-вимірні вектори, хороша якість на англійських і змішаних документах. Для документів переважно українською або німецькою рекомендуємо BGE-M3 — навчена на 100+ мовах з рівною якістю для латиниці і кирилиці.
Чому Ollama підходить для конфіденційних середовищ
- Офлайн-робота AI-компоненту після розгортання: модель завантажується один раз — далі AI-обробка не потребує інтернет-з'єднання з зовнішніми сервісами
- Немає телеметрії: Ollama не відправляє дані про запити або використання назовні
- Контроль версій моделі: конкретна версія фіксується і не змінюється без вашого відома — на відміну від хмарних API де провайдер може оновити модель без попередження
- Docker-розгортання: Ollama працює в Docker-контейнері — спрощує резервне копіювання, оновлення і відновлення після збоїв
Які моделі доступні локально: порівняння і рекомендації по галузях
У 2026 році локальні моделі через Ollama дають якість яка 2 роки тому була доступна тільки через GPT-4. Llama 3.3 70B, Mistral Small 3, Gemma 4, Qwen3 — всі доступні локально і підходять для різних бізнес-задач і бюджетів на залізо.
Вибір моделі для закритого контуру — баланс між трьома параметрами: якість відповідей, вимоги до сервера і швидкість. Менша модель відповідає швидше але менш точно. Більша — точніша але повільніша і потребує потужнішого GPU. Ми підбираємо модель під конкретний сценарій клієнта — немає "одного правильного варіанта" для всіх.
Актуальні моделі для бізнесу через Ollama у 2026
| Модель |
Розмір (Q4) |
VRAM |
Швидкість |
Сильні сторони |
Команда |
| Llama 3.3 70B |
43 GB |
48 GB |
~15–25 т/с (GPU) |
Найвища якість серед локальних, юридичні та медичні тексти, контекст 128K |
ollama run llama3.3:70b |
| Gemma 4 26B (MoE) |
~15 GB |
16 GB |
~35–40 т/с (GPU) |
GPT-4 рівень при скромних вимогах до VRAM завдяки MoE-архітектурі, multimodal |
ollama run gemma4:26b |
| Mistral Small 3 (24B) |
14 GB |
16 GB |
~30 т/с (GPU) |
Найкраща якість на EU-мовах (DE/FR), медичні і юридичні тексти, Apache 2.0 |
ollama run mistral-small3 |
| Qwen3 14B |
9 GB |
12 GB |
~35 т/с (GPU) |
Найкраща мультимовність включаючи українську, компактний і швидкий |
ollama run qwen3:14b |
| Llama 3.2 8B |
5 GB |
6 GB |
~45–50 т/с (GPU), ~8 т/с (CPU) |
Мінімальні вимоги до заліза, швидкий старт, прості FAQ і регламенти |
ollama run llama3.2:8b |
Швидкість наведена для NVIDIA RTX 4090 (24 GB VRAM). Llama 3.3 70B потребує або GPU 48+ GB або розподілу між GPU і RAM.
Яку модель обрати залежно від галузі
Юридичні компанії і нотаріуси. Потрібна висока точність і довгий контекст для аналізу договорів. Ми рекомендуємо Llama 3.3 70B — 128K токенів контексту дозволяє обробляти довгий договір цілком без розбиття на частини, що критично для юридичного аналізу. Якщо сервер слабкий — Mistral Small 3 (24B) як компроміс: менші вимоги до VRAM при гарній якості на юридичних текстах.
Медичні центри і клініки. Точність при роботі з протоколами і медичними термінами — пріоритет. Рекомендуємо Llama 3.3 70B або Gemma 4 26B — остання дає GPT-4-рівень якості при вимогах до VRAM як у 16-гігабайтної карти. Для клінік з мультимовними документами (UA + DE) — Qwen3 14B.
HR і корпоративна база знань. Регламенти, процедури, FAQ — зазвичай прості структуровані тексти де надвисока якість не потрібна. Рекомендуємо Llama 3.2 8B або Gemma 4 26B: перша — мінімальне залізо, друга — вища якість при помірних вимогах до VRAM.
Дистриб'ютори і B2B з великим каталогом. Технічні специфікації і каталоги потребують точного витягування даних. Рекомендуємо Mistral Small 3 (24B) — добре розуміє технічну термінологію, швидка відповідь, не потребує топового GPU.
Держструктури. Максимальна ізоляція, верифіковане джерело моделі. Рекомендуємо Llama 3.3 70B від Meta — відкрита ліцензія, публічне джерело, найширша підтримка спільноти і незалежних аудитів безпеки.
Мультимовність: як локальні моделі працюють з українською, англійською і німецькою
Сучасні локальні моделі розуміють українську, англійську і німецьку без додаткового налаштування. Рівень якості відрізняється: англійська — завжди найкраща, кирилиця — залежить від моделі. Правильний вибір моделі і embedding-стратегії вирішує цю різницю для бізнес-задач.
Для бізнесів на українському і DACH-ринку мультимовність — не опція, це вимога. Документи можуть бути різними мовами, клієнти питають по-своєму, звіти готуються для партнерів. Ось реальна картина яку ми враховуємо при підборі моделі.
Англійська — базова мова, стабільна якість у всіх моделей
Всі великі моделі навчались переважно на англомовних даних. Якість відповідей на англійських документах — відмінна для всіх моделей у нашій таблиці. Якщо ваші документи переважно англійською — можна обирати модель виключно за вимогами до заліза і швидкості.
Українська — добра якість при правильному виборі
Ситуація з українською значно покращилась у 2025–2026 роках. Llama 3.3, Qwen3 і Mistral Small 3 містять суттєву частку україномовних даних.
- Llama 3.3 70B: добре розуміє і відповідає українською. Невеликі граматичні помилки не впливають на зміст відповіді
- Qwen3 14B: найкраща мультимовна модель у своєму класі, включаючи кирилицю. Рекомендуємо коли документи переважно українською
- Llama 3.2 8B: розуміє українську але може змішувати мови у відповіді — потребує явної інструкції в системному промпті
- Embedding для кирилиці: для максимальної якості на українських документах рекомендуємо BGE-M3 — навчена на 100+ мовах з рівною якістю для латиниці і кирилиці
Німецька — стабільна якість для DACH-ринку
Німецька представлена у тренувальних даних більшості моделей значно краще ніж українська. Llama 3.3, Mistral і Qwen3 відповідають на DE граматично коректно і впевнено.
- Mistral Small 3 (24B): особливо сильний на німецькій — Mistral AI (французька компанія) приділила значну увагу EU-мовам. Наш вибір для австрійських і німецьких клієнтів з монолінгвальними DE-документами
- Медична і юридична термінологія на DE — всі провідні моделі обробляють коректно
Крос-мовний пошук: питання однією мовою, документи іншою
Типова бізнес-ситуація: частина документів англійська, частина українська, а питання надходять будь-якою мовою. Тут вирішальна — embedding модель, а не LLM.
BGE-M3 — наша рекомендація для мультимовних архівів: запит українською знаходить релевантні фрагменти з англійських документів і навпаки. Це працює тому що мультимовна embedding модель розміщує "договір" і "contract" в схожих точках векторного простору. Запускається локально через Ollama: ollama pull bge-m3.
Практична рекомендація для UA/DE бізнесу
| Мова документів |
Рекомендована LLM |
Рекомендована embedding |
| Переважно англійська |
Llama 3.3 70B або Gemma 4 26B |
mxbai-embed-large |
| Переважно українська |
Qwen3 14B або Llama 3.3 70B |
BGE-M3 |
| Переважно німецька |
Mistral Small 3 (24B) |
mxbai-embed-large або BGE-M3 |
| Змішана (UA + EN + DE) |
Qwen3 14B або Llama 3.3 70B |
BGE-M3 (найкраща мультимовність) |
Архітектура: сервер + pgvector + Ollama без передачі даних стороннім AI-сервісам
Закритий контур складається з чотирьох компонентів: сервер у ЄС, PostgreSQL з pgvector для зберігання документів і векторів, Ollama для запуску LLM і embedding, чат-інтерфейс або Telegram-бот для доступу користувачів. Всі чотири — на одному сервері. Клієнт нічого не встановлює — він просто використовує готовий чат.
Ми в AskYourDocs пояснюємо архітектуру не для того щоб клієнт розібрався в технічних деталях — а щоб він міг впевнено відповісти на запитання регулятора або юриста: "Де зберігаються дані? Хто має до них доступ? Чи виходять дані за межі компанії?" Ось ця відповідь у простих словах.
Чотири компоненти — що де і навіщо
1. Сервер у ЄС. Фізична або віртуальна машина в дата-центрі або у вашому офісі. На ньому живуть усі інші компоненти. Для GDPR-відповідності — сервер у ЄС під управлінням неамериканської компанії (Hetzner, OVH). Для максимальної ізоляції — фізичний сервер безпосередньо у вашому приміщенні.
2. PostgreSQL + pgvector. База даних де зберігаються ваші документи у двох форматах: оригінальний текст (для відображення джерела у відповіді) і векторні представлення (для пошуку). pgvector — розширення PostgreSQL яке додає векторний пошук. Ніяких додаткових сервісів, ніяких хмарних баз — один PostgreSQL-сервер на вашому залізі.
3. Ollama. Запускає LLM і embedding модель локально. Отримує питання, знаходить релевантні фрагменти через pgvector, передає їх у модель і повертає відповідь. Весь процес — всередині вашого сервера, без жодного зовнішнього AI-запиту.
4. Чат-інтерфейс або Telegram/WhatsApp-бот. Що бачить і використовує ваш співробітник або клієнт. Запит надходить сюди, передається на сервер, обробляється локально і повертається назад. Інтеграція з Telegram і WhatsApp працює через їхні Bot API — але сама AI-обробка відбувається на вашому сервері.
Як рухаються дані: покроково
При завантаженні документів (одноразово):
- Ви або ваш адміністратор завантажує PDF або Word через адмін-панель
- Система розбиває документ на фрагменти (~500 слів кожен)
- Ollama через локальну embedding модель перетворює кожен фрагмент на вектор
- Текст і вектор зберігаються в PostgreSQL + pgvector на вашому сервері
- Оригінальний файл зберігається на диску сервера
На жодному кроці дані не залишають ваш сервер.
При відповіді на питання (кожен раз):
- Співробітник або клієнт задає питання в чаті або Telegram-боті
- Питання перетворюється на вектор через локальну embedding модель
- pgvector знаходить 3–5 найрелевантніших фрагментів з ваших документів
- Знайдені фрагменти разом з питанням передаються в локальний LLM (Ollama)
- Модель генерує відповідь з посиланням на джерело і повертає її користувачу
Весь процес — всередині сервера. Займає 3–15 секунд залежно від моделі і заліза. Жоден крок не потребує зовнішнього AI-сервісу.
Мінімальні вимоги до сервера
| Компонент |
Мінімум (старт) |
Оптимально |
Для Llama 3.3 70B |
| RAM |
16 GB |
32 GB |
64 GB |
| VRAM (GPU) |
CPU-only (повільно) |
16 GB GPU |
48 GB GPU |
| Диск (SSD) |
100 GB |
200 GB |
500 GB |
| CPU |
4 ядра |
8 ядер |
16 ядер |
| ОС |
Ubuntu 22.04 LTS |
Ubuntu 22.04 LTS |
Ubuntu 22.04 LTS |
Наша рекомендація для старту: для більшості бізнес-задач (до 1000 файлів, 50–200 запитів на день) достатньо Llama 3.2 8B або Gemma 4 26B — вони працюють на сервері з 16–32 GB RAM і GPU 16 GB або без GPU (повільніше але стабільно). Llama 3.3 70B потрібна коли якість відповідей на складних юридичних або медичних документах є критичною вимогою.
Продуктивність локальної моделі vs GPT-4o: реальні цифри
Llama 3.3 70B — найближчий локальний аналог GPT-4o за якістю для RAG-задач. На більшості бізнес-сценаріїв різниця непомітна. Головна відмінність — швидкість: GPT-4o відповідає за 2–4 секунди, локальна модель — за 5–20 секунд залежно від конфігурації.
Питання яке ми чуємо від кожного керівника: "Якщо ми поставимо локальну модель — відповіді будуть гіршими ніж у ChatGPT?" Відповідь залежить від задачі — і для більшості бізнес-сценаріїв вона позитивна.
Де локальні моделі не поступаються GPT-4o
Для RAG (відповіді на питання по ваших документах) різниця між Llama 3.3 70B і GPT-4o мінімальна. Причина проста: у RAG модель не "придумує" відповідь — вона формулює її на основі знайдених фрагментів. При якісному retrieval навіть менша модель дає точні відповіді. "Загальні знання" моделі тут майже не важливі.
- Пошук конкретного пункту договору або протоколу: Llama 3.3 70B ≈ GPT-4o
- Витягування структурованої інформації: знайти сторони договору, дату, умови — локальна модель справляється так само добре
- Підсумовування документа: стислий переказ — практично еквівалентна якість
- FAQ по регламентах і процедурах: "Яка процедура відрядження?" — локальна 70B дає такі ж точні відповіді
Де GPT-4o має реальну перевагу
- Складний мультидокументний аналіз: синтез юридичної позиції з кількох джерел, пошук суперечностей між документами — GPT-4o точніший
- Генерація нових документів "з нуля": написання меморандуму або звіту — GPT-4o якісніше
- Складна математика і логічні ланцюжки: фінансові розрахунки — хмарні моделі точніші
Якщо ці сценарії є у вашому бізнесі — ми рекомендуємо гібридний підхід: 80–90% запитів обробляються локально, складний аналіз без чутливих даних — через хмарний API.
Реальні цифри швидкості
| Модель |
Час першого токена |
Швидкість генерації |
Типова відповідь (200 слів) |
| GPT-4o (OpenAI API) |
0.5–1 сек |
~60 т/с |
2–4 сек |
| Gemma 4 26B (RTX 4090) |
0.5–1 сек |
~35–40 т/с |
5–7 сек |
| Mistral Small 3 (RTX 4090) |
0.5–1 сек |
~30 т/с |
6–8 сек |
| Llama 3.2 8B (RTX 4090) |
0.3–0.5 сек |
~45 т/с |
4–5 сек |
| Llama 3.3 70B (RTX 4090) |
1–2 сек |
~20 т/с |
10–15 сек |
| Llama 3.3 70B (CPU only) |
5–10 сек |
~3–5 т/с |
60–80 сек |
Практичний висновок: 10–15 секунд від Llama 3.3 70B на GPU — прийнятно для 80% корпоративних сценаріїв. Менеджер який раніше витрачав 20 хвилин на ручний пошук у документах отримує відповідь за 15 секунд — це прискорення у 80 разів. Різниця між 15 і 3 секундами на цьому фоні несуттєва. Для публічного чату де важлива швидкість реакції — ми рекомендуємо Gemma 4 26B або Mistral Small 3: відповідають за 5–8 секунд при якості, достатній для FAQ і процедурних питань.
Наше тестування на реальних бізнес-документах
Ми тестували Llama 3.3 70B і GPT-4o на однаковому наборі: 400 юридичних документів (договори, нормативні акти). Задачі: пошук конкретного пункту, перевірка наявності умови, витягування сторін договору. Результат: Llama 3.3 70B — 91% правильних відповідей, GPT-4o — 94%. Різниця у 3 відсоткові пункти прийнятна для більшості бізнес-застосунків — і повністю компенсується відсутністю GDPR-ризику і нульовими витратами на API.
Вартість заліза і сервера: скільки коштує закритий контур
Закритий контур коштує більше ніж гібридний режим з зовнішнім LLM — але значно менше ніж Enterprise хмарні плани з data residency. Для більшості середніх компаній у регульованих галузях загальна вартість за рік порівнянна або нижча ніж хмарні альтернативи — якщо рахувати реальну вартість включаючи юридичні витрати і GDPR-ризики.
Варіант 1: хмарний VPS з GPU (рекомендовано для старту)
Найпростіший шлях — орендувати VPS з GPU у хмарному провайдері в ЄС. Переваги: не потрібне власне залізо, провайдер відповідає за обладнання, легко масштабувати. Важливо для GDPR: ми використовуємо виключно провайдерів під юрисдикцією ЄС — поза дією CLOUD Act США. Vast.ai і аналогічні GPU-маркетплейси ми не рекомендуємо для бізнес-даних: там не гарантована особа оператора вузла і фактична локація даних.
| Конфігурація |
Модель |
Провайдер (ЄС) ⭐ |
Вартість/місяць |
Підходить для |
| CPU-only, 32 GB RAM |
Llama 3.2 8B, Qwen3 14B |
Hetzner CX, OVH VPS |
€30–60 |
Малий бізнес, до 100 запитів/день |
| GPU 16 GB, 32 GB RAM |
Mistral Small 3, Gemma 4 26B |
Hetzner GPU, OVHcloud GPU |
€80–150 |
Середній бізнес, до 500 запитів/день |
| GPU 24 GB, 64 GB RAM |
Llama 3.3 70B Q4 (частково CPU) |
Hetzner GPU, Scaleway GPU |
€200–350 |
Юридичні і медичні компанії, якість критична |
| GPU 48+ GB або 2×GPU, 128 GB RAM |
Llama 3.3 70B Q4 (повністю GPU) |
Hetzner Dedicated GPU |
€500–800 |
Великі компанії, 1000+ запитів/день |
⭐ Всі провайдери в таблиці — EU-юрисдикція, поза дією CLOUD Act США. Hetzner (Німеччина), OVHcloud (Франція), Scaleway (Франція) — ISO 27001 сертифіковані.
Варіант 2: власний фізичний сервер (максимальна ізоляція)
Якщо дані не можуть залишати ваше приміщення взагалі (air-gap вимога) або ви хочете повністю виключити залежність від хмарного провайдера — власний сервер в офісі. Ми розгортаємо Ollama і весь стек на вашому залізі — ви отримуєте систему яка фізично ніколи не з'єднується з зовнішніми AI-сервісами.
| Конфігурація |
Разова вартість |
Щомісячно (електрика) |
Термін служби |
| CPU-сервер, 64 GB RAM, SSD 500 GB |
€1,500–2,500 |
€15–25 |
5–7 років |
| GPU 16 GB + CPU-сервер, 64 GB RAM |
€3,000–4,500 |
€30–50 |
4–6 років |
| GPU 24 GB + CPU-сервер, 128 GB RAM |
€5,000–7,000 |
€50–80 |
4–5 років |
Порівняння повної вартості за рік
|
Хмарний AI (Enterprise SaaS) |
Гібридний режим AskYourDocs |
Закритий контур AskYourDocs |
| Впровадження |
$0 (SaaS) |
від $500 |
від $500 |
| Сервер на рік |
$2,000–5,000+ (Enterprise) |
€180–360 (VPS без GPU) |
€960–4,200 (VPS з GPU) |
| LLM API на рік |
Включено в план |
$30–180 |
$0 (локально) |
| Юридичні витрати (DPA, DPIA, TIA) |
$1,000–3,000 |
Мінімальні |
$0 |
| GDPR-ризик |
Є |
Мінімальний |
Технічно відсутній |
| Разом за рік |
$3,000–8,000+ |
~$800–1,100 |
~$1,500–5,200 |
Наш висновок по вартості: для компаній без жорстких регуляторних вимог — гібридний режим є найдешевшим стартом. Закритий контур на GPU коштує більше — але для медицини, юристів і фінансів це єдиний варіант де GDPR-ризик технічно відсутній. Один регуляторний запит або штраф легко перевищить різницю у вартості сервера за кілька років. Ми завжди рахуємо повну вартість разом з клієнтом — включаючи юридичну сторону — перш ніж рекомендувати конкретний рівень ізоляції.
Для кого закритий контур обов'язковий а не опційний
Є галузі де закритий контур — не питання переваги або вартості, а юридична вимога. Якщо ваш бізнес потрапляє в один з цих сценаріїв — хмарний AI з серверами в США або на marketplace-платформах є неприйнятним юридично незалежно від ціни і якості продукту.
Ми в AskYourDocs бачимо закономірність: більшість клієнтів які обирають закритий контур — це не параноя, а конкретна регуляторна або репутаційна вимога. Ось коли закритий контур є не опцією, а єдиним прийнятним рішенням.
Медичні центри і клініки
Медичні дані — спеціальна категорія за GDPR Art. 9 з найвищим рівнем захисту. Будь-яка передача медичних записів, запитів пацієнтів або протоколів лікування третій стороні без явної згоди і правової підстави є прямим порушенням. Навіть питання "Як підготуватись до хіміотерапії?" — виявляє онкологію і є Art. 9 даними. В Австрії медична таємниця захищена кримінальним законодавством (Ärztegesetz § 54), а Datenschutzbehörde встановив найсуворіший стандарт в ЄС щодо трансферу даних до США.
Наша позиція: для медичних центрів ми не впроваджуємо гібридний режим — тільки закритий контур на EU-сервері. Детальніше — у статті AI в медицині: як обробляти медичні дані без порушення закону.
Юридичні фірми і нотаріуси
Адвокатська таємниця — фундаментальний правовий принцип. Завантаження матеріалів клієнтської справи в ChatGPT або Notion AI без явної згоди клієнта є порушенням адвокатської таємниці незалежно від того чи хтось реально переглядав ці дані. CCBE (Рада адвокатських палат ЄС) у 2025 прямо застерегла щодо хмарних GenAI-систем. Американський федеральний суд у лютому 2026 постановив що матеріали підготовлені через публічний AI-інструмент не захищені привілеєм адвокатської таємниці.
Наша позиція: закритий контур усуває саму можливість "передачі третій стороні" — адвокатська таємниця захищена архітектурно, а не тільки на папері. Детальніше — у статті AI для юридичних компаній: безпека клієнтських даних.
Державні і муніципальні установи
Обробка персональних даних громадян на серверах американських компаній є де-факто забороною в більшості країн ЄС через вимоги суверенітету даних. CLOUD Act дозволяє американським правоохоронцям вимагати доступ до даних у AWS, Azure і Google Cloud незалежно від фізичної локації серверів. Для більшості держструктур — закритий контур на національній або ЄС-інфраструктурі є єдиним варіантом, для частини — повна мережева ізоляція (air-gap).
Фінансові установи і страховики
BaFin (Німеччина) і FMA (Австрія) мають чіткі вимоги до каналів обробки фінансових даних і обов'язкового погодження при аутсорсингу до третіх провайдерів. Кредитні справи, рахунки клієнтів, страхові договори не можуть передаватись на сервери поза визначеною юрисдикцією без дозволу регулятора. Закритий контур на EU-сервері вирішує це системно без окремого регуляторного процесу.
HR-відділи і обробка даних співробітників
Персональні дані співробітників — оцінки, зарплати, медогляди, дисциплінарні справи — підпадають під підвищені вимоги захисту. Співробітники не давали згоди на передачу своїх даних OpenAI або Notion. Кожен запит HR-менеджера з цими даними через хмарний AI є потенційним порушенням GDPR Art. 6. Закритий контур усуває цю проблему архітектурно.
Компанії з вимогами B2B-клієнтів або партнерів
Ваші клієнти або партнери можуть прямо вимагати підтвердження що їхні дані не обробляються на сторонніх серверах. Сертифікат ISO 27001 або SOC 2 у хмарного AI-провайдера — не є таким підтвердженням. Технічна документація закритого контуру і архітектурна гарантія відсутності зовнішніх запитів — є.
Докладніше про всі ці сценарії і юридичні вимоги — у статті 6 ризиків витоку даних через AI: як захистити бізнес у 2026.
Як ми розгортаємо закритий контур: покроковий план
Розгортання займає 5–7 робочих днів. Від вас потрібні: документи в текстовому форматі і 30 хвилин на фінальне тестування. Все інше — на нашому боці.
Цей план написаний для бізнес-керівника а не для розробника. IT-відділ з вашого боку не потрібен.
Крок 1: Підготовка документів — ваша задача (1–2 дні)
Перш ніж розгортати систему — документи мають бути готові до завантаження:
- Формат: PDF з текстовим шаром (не скани), Word (DOCX), Google Docs або TXT. Скановані PDF без OCR — AI не читає, їх потрібно конвертувати заздалегідь
- Актуальність: тільки актуальні версії. Застарілі регламенти дадуть застарілі відповіді — ми просимо верифікувати актуальність перед завантаженням
- Обсяг для старту: 50–200 файлів достатньо. Система однаково добре працює і з 10 і з 10,000 документів
Детально про підготовку документів — у статті Як підготувати документи для AI-асистента.
Крок 2: Вибір і налаштування сервера — наша задача (1 день)
Ми обираємо конфігурацію разом з вами: кількість документів, навантаження (запити на день), вимоги до якості відповідей і GDPR-рівень.
- Для більшості бізнесів — VPS з GPU у Hetzner (Нюрнберг або Фінляндія) або OVHcloud (Страсбург). Сервер у ЄС під управлінням неамериканської компанії — GDPR-відповідність базово вирішена
- Для максимальної ізоляції — фізичний сервер у вашому офісі або дата-центрі
- Встановлення Ubuntu, Docker, Ollama, PostgreSQL + pgvector — автоматизований процес, 2–3 години
Крок 3: Завантаження моделей — наша задача (кілька годин)
- Завантаження LLM через Ollama відповідно до обраної конфігурації (наприклад Llama 3.3 70B Q4 — ~43 GB, 30–60 хвилин)
- Завантаження embedding моделі (nomic-embed-text або BGE-M3 — ~0.5–1.5 GB)
- Налаштування системного промпту: мова відповідей, формат, межі (відповідати виключно на основі ваших документів)
- Після налаштування — AI-обробка не потребує зовнішніх AI-сервісів. Telegram або веб-чат для доступу користувачів підключаються через їхні стандартні протоколи
Крок 4: Завантаження і векторизація документів — наша задача (1–4 години)
- Завантаження ваших документів через адмін-панель або автоматизований скрипт
- Система автоматично розбиває кожен документ на фрагменти, векторизує через локальну embedding модель і зберігає в pgvector
- Час обробки: ~100 документів за 15–30 хвилин на стандартному сервері
Крок 5: Налаштування інтерфейсу — наша задача (1 день)
- Веб-чат для вбудовування на ваш сайт (один рядок коду)
- Telegram-бот або WhatsApp-бот для внутрішнього використання командою
- Origin filter: чат доступний тільки з ваших дозволених доменів або IP-адрес
- Налаштування логування запитів для аналітики і аудиту (опціонально)
Крок 6: Тестування і передача — разом (30 хвилин)
- Ви задаєте 10–15 реальних питань по своїх документах і перевіряєте якість відповідей
- Ми коригуємо налаштування якщо якість не влаштовує — до вашого підтвердження
- Передача всіх доступів адміністратора: сервер, база даних, адмін-панель
- Після передачі — ми більше не маємо технічного доступу до вашого сервера. Це не обіцянка — це архітектурна гарантія
Після запуску: як працює оновлення документів
Завантажили новий або оновлений файл через адмін-панель → система автоматично векторизує → через 2–3 хвилини асистент відповідає на основі нового документа. IT-відділ не потрібен. Підтримка після запуску — 30 днів включено, далі за домовленістю від $50/місяць.
Часті питання
Чи може система працювати без зовнішніх AI-сервісів повністю?
Так — AI-обробка після налаштування не потребує жодних зовнішніх AI-сервісів. Для Telegram або WhatsApp інтеграції використовується мінімальний трафік до серверів месенджера — але не до AI-провайдерів (OpenAI, Anthropic тощо). Якщо потрібна повна мережева ізоляція (air-gap без інтернету взагалі) — система розгортається з веб-інтерфейсом у вашій локальній мережі без будь-яких зовнішніх підключень.
Наскільки складно оновлювати документи?
Дуже просто. Завантажуєте новий або оновлений документ через адмін-панель (drag-and-drop) — система автоматично обробляє і векторизує. Через 2–3 хвилини асистент відповідає на основі нового документа. Стара версія замінюється автоматично якщо назва та сама. IT-знань не потрібно — будь-який адміністратор справляється самостійно.
Що буде якщо сервер впаде?
При хмарному VPS (Hetzner, OVH) — автоматичний перезапуск через Docker, типовий downtime 2–5 хвилин. При фізичному сервері в офісі — налаштовуємо автозапуск при відновленні живлення. Ми налаштовуємо автоматичний backup бази даних на зовнішній зашифрований диск — на випадок апаратного збою сервера.
Скільки користувачів може одночасно працювати з системою?
Залежить від моделі і заліза. Для Llama 3.2 8B або Gemma 4 26B на GPU 16 GB — 5–10 одночасних запитів без помітного сповільнення. Для Llama 3.3 70B — 2–3 одночасних. Для більшого навантаження — черга запитів або потужніший сервер. Для більшості офісних задач (100–200 запитів на день) стандартна конфігурація достатня.
Чи можна перейти з гібридного режиму на закритий контур пізніше?
Так, і це один з найчастіших наших сценаріїв. Бізнес починає з гібридного режиму (нижча вартість старту) і переходить на закритий контур коли обсяг зростає або з'являються суворіші GDPR-вимоги. Міграція займає 1–2 дні: документи вже є в системі, потрібно замінити зовнішній LLM на локальний Ollama і перейти на локальну embedding. Жодної переробки бізнес-логіки.
Висновки
- 🏠 Закритий контур: єдине рішення де дані технічно не можуть покинути ваш периметр — не через обіцянку провайдера, а через архітектуру
- 🦙 Ollama: зробила локальні LLM доступними для бізнесу — ми розгортаємо під ключ без IT-відділу з боку клієнта
- 📊 Якість: Llama 3.3 70B дає 91% точності на RAG-задачах проти 94% у GPT-4o — різниця у 3% прийнятна і компенсується відсутністю GDPR-ризику і нульовими API-витратами
- 🌍 Мультимовність: українська, англійська і німецька підтримуються. Для кирилиці — Qwen3 14B і BGE-M3 embedding дають найкращий результат
- 💰 Вартість: від €30/місяць (CPU-only) до €350/місяць (GPU 24 GB) — порівнянно або дешевше ніж Enterprise хмарні плани якщо рахувати юридичні витрати і GDPR-ризики
- ⏱️ Впровадження: 5–7 робочих днів під ключ. Після передачі ми більше не маємо доступу до вашого сервера
- 🏥 Обов'язково для: медицини (GDPR Art. 9), юристів (адвокатська таємниця), держструктур (суверенітет даних), фінансів (вимоги BaFin/FMA)
Хочете розгорнути закритий контур?
Покажіть нам ваші документи і задачу — за 30 хвилин демо ви побачите як AI відповідає на реальні питання з вашого архіву. І де при цьому фізично знаходяться ваші дані.
Написати в Telegram →
Хочете побачити рішення в дії?
askyourdocs.org/uk/#try-demo
Впровадження під ключ за 5–7 днів. Без IT-відділу. Дані залишаються на вашому сервері в ЄС. Детальніше про GDPR — у статті GDPR та AI на документах: що повинен знати бізнес у 2026.
Читайте також
⸻
Джерела: Ollama Model Library · Best Ollama Models: Performance Comparison · Local AI Models Directory 2026 · The State of Local LLMs 2025–2026 · Що таке Embeddings: як AI розуміє сенс тексту
