Ana SayfaÇözüm Deposu & MakalelerOllama ve DeepSeek-R1 / Llama-3 ile Kurumsal Sunucularda Yerel ve Güvenli LLM Dağıtımı (Tam Resimli Kılavuz)
Yazılım & DevOpsHOW_TOEXPERT
Ollama ve DeepSeek-R1 / Llama-3 ile Kurumsal Sunucularda Yerel ve Güvenli LLM Dağıtımı (Tam Resimli Kılavuz)
Şirket verilerinin dış buluta çıkmasını engelleyen, şirket içi GPU sunucularında (NVIDIA A100/L40S) çalışan, Open-WebUI ve vLLM entegreli yerel yapay zekâ altyapısı kurulum rehberi.
AdminADMIN
Platform Yöneticisi & Sistem Mimarı27.08.202614 dk Okuma5120 Görüntülenme
AuditAgent™ Kod & Mimari Doğrulaması
Güven Skoru: %99AuditAgent Onaylı (On-Prem LLM Benchmarked)
Sözdizimi Doğrulandı
Uygulama Önkoşulları & Gereksinimler
NVIDIA GPU Sunucusu (En az 24GB VRAM)
Ubuntu 22.04 / 24.04 LTS veya RHEL 9
Docker & NVIDIA Container Toolkit
İnteraktif Mimari Akış Şeması (Mermaid)Otomatik Çizilen Topoloji
Ollama ve DeepSeek-R1 / Llama-3 ile Kurumsal Sunucularda Yerel ve Güvenli LLM Dağıtımı (Tam Resimli Kılavuz)Mermaid.js
100%
ADIM 1
Kurumsal Kullanıcılar
↓
ADIM 2
Open-WebUI Portal
↓
ADIM 3
Ollama / vLLM Çıkarım Motoru
↓
ADIM 4
(NVIDIA GPU Cluster A100 / L40S
↓
ADIM 5
(Yerel NVMe SSD Depolama
Giriş: Neden Şirket İçi (On-Premises) Yerel LLM? Finans, sağlık ve kritik altyapı sektörlerinde kurumsal verilerin üçüncü taraf genel bulut LLM servislerine (OpenAI, Anthropic) gönderilmesi regülasyon ve veri gizliliği (KVKK, GDPR) açısından risk barındırır. Ollama ve vLLM gibi açık kaynak çıkarım motorları, güçlü açık modelleri (DeepSeek-R1, Llama-3.3 70B, Qwen-2.5) kurumun kendi donanımlarında %100 izole şekilde çalıştırmayı mümkün kılar.
Open-WebUI — Yerel Kurumsal LLM Portalı
Model: deepseek-r1:70bVRAM: 22.4 GB / 24 GB
U
Kullanıcı Sorusu:
Active Directory ortamımızda NTLMv1 trafiğini nasıl tespit edip engelleyebiliriz?
▶ DeepSeek Düşünme Süreci (Reasoning Trace):NTLMv1, LMHash ve DES tabanlı olduğu için Rainbow table ile dakikalar içinde kırılabilir. Çözüm: Event ID 8003/8004 denetimi açılmalı, ardından GPO ile "Restrict NTLM: Outgoing traffic to remote servers = Deny all" yapılmalıdır.
Özet Çözüm: 1. Group Policy üzerinden Olay 8003 denetimini açın. 2. Eski yazıcı ve NAS cihazlarını NTLMv2/Kerberos'a yükseltin. 3. "Network security: Restrict NTLM" politikasını devreye alın.
---
1. Adım: GPU Sürücüleri ve Docker CUDA Hazırlığı Ubuntu Server 24.04 LTS üzerinde NVIDIA Container Toolkit kurulumu:
BASH
| 1 | # NVIDIA Container Toolkit Kurulumu |
| 2 | curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg |
| 3 | curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ |
| 4 | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ |
| 5 | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list |
| 6 | |
| 7 | sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit |
| 8 | sudo nvidia-ctk runtime configure --runtime=docker |
| 9 | sudo systemctl restart docker |
---
2. Adım: Ollama ve Open-WebUI Docker Compose Mimarisi Tüm kurumsal kullanıcılar için LDAP/OAuth2 yetkilendirmesi, sohbet geçmişi ve model yönetimi sunan `docker-compose.yml`:
Open-WebUI — Yerel Kurumsal LLM Portalı
Model: deepseek-r1:70bVRAM: 22.4 GB / 24 GB
U
Kullanıcı Sorusu:
Active Directory ortamımızda NTLMv1 trafiğini nasıl tespit edip engelleyebiliriz?
▶ DeepSeek Düşünme Süreci (Reasoning Trace):NTLMv1, LMHash ve DES tabanlı olduğu için Rainbow table ile dakikalar içinde kırılabilir. Çözüm: Event ID 8003/8004 denetimi açılmalı, ardından GPO ile "Restrict NTLM: Outgoing traffic to remote servers = Deny all" yapılmalıdır.
Özet Çözüm: 1. Group Policy üzerinden Olay 8003 denetimini açın. 2. Eski yazıcı ve NAS cihazlarını NTLMv2/Kerberos'a yükseltin. 3. "Network security: Restrict NTLM" politikasını devreye alın.
YAML
| 1 | version: '3.8' |
| 2 | services: |
| 3 | ollama: |
| 4 | image: ollama/ollama:latest |
| 5 | container_name: ollama-server |
| 6 | restart: always |
| 7 | ports: |
| 8 | - "11434:11434" |
| 9 | volumes: |
| 10 | - /data/ollama_models:/root/.ollama |
| 11 | deploy: |
| 12 | resources: |
| 13 | reservations: |
| 14 | devices: |
| 15 | - driver: nvidia |
| 16 | count: all |
| 17 | capabilities: [gpu] |
| 18 | |
| 19 | open-webui: |
| 20 | image: ghcr.io/open-webui/open-webui:main |
| 21 | container_name: open-webui |
| 22 | restart: always |
| 23 | ports: |
| 24 | - "8080:8080" |
| 25 | environment: |
| 26 | - OLLAMA_BASE_URL=http://ollama:11434 |
| 27 | - WEBUI_AUTH=true |
| 28 | - ENABLE_RAG_WEB_SEARCH=false |
| 29 | volumes: |
| 30 | - /data/openwebui_data:/app/backend/data |
| 31 | depends_on: |
| 32 | - ollama |
---
3. Adım: Kurumsal Modelleri İndirme ve Test Etme
BASH
| 1 | # DeepSeek-R1 (Gelişmiş Mantık ve Kod Çıkarımı) Modeli |
| 2 | docker exec -it ollama-server ollama run deepseek-r1:32b |
| 3 | |
| 4 | # Hızlı Kurumsal Doküman Özetleme İçin Llama-3.3 |
| 5 | docker exec -it ollama-server ollama run llama3.3:70b-instruct-q4_K_M |
#Yapay Zeka#Ollama#DeepSeek#Llama 3#Local LLM#Data Science#Python
Bu Makaleyle İlgili Bir Sorunuz mu Var?
Uygulama esnasında aldığınız hata kodlarını veya logları forumda paylaşarak TriageAgent ve topluluktan anında destek alın.