Lokalni LLM: Ollama Deep Dive

# Provjera instalacije
ollama --version
# Trebate vidjeti: "ollama version 0.x.x"

# Provjera da li servis radi (Ollama REST API)
curl http://localhost:11434
# Trebate vidjeti: "Ollama is running"

# Zvanični install script (za lab okruženje)
curl -fsSL https://ollama.com/install.sh | sh

# Za produkciju preporučujemo: manual install + systemd service
# (detalji na: github.com/ollama/ollama/blob/main/docs/linux.md)

# Provjera systemd servisa
sudo systemctl status ollama
# Trebate vidjeti: Active: active (running)

# Preuzimanje i pokretanje modela
# Ako model nije preuzet, Ollama automatski skida sa svog Huba (~4.7GB)
# Progress bar se prikazuje tokom downloada
ollama run llama3.1

# Kada se preuzme, pojavit će se prompt za interaktivni chat:
# >>> Napiši bash skriptu koja prati disk usage i šalje email upozorenje kada pređe 90%
# (model će napisati skriptu... 100% lokalno!)

# Izlaz iz chat-a:
# >>> /bye

# Prikaz liste preuzetih modela
ollama list
# NAME                    SIZE    MODIFIED
# llama3.1:latest         4.7 GB  2 minutes ago

# Detalji o modelu
ollama show llama3.1
# Model  llama3.1:latest
# Architecture  llama
# Parameters    8.0B
# Quantization  Q4_0
# Context       131072 tokens

# Provjera RAM usage dok model radi (u novom terminal prozoru)
ollama ps
# NAME            ID              SIZE      PROCESSOR    UNTIL
# llama3.1:latest ...             5.1 GB    100% CPU     4 minutes from now

# Brisanje modela (oslobađanje prostora na disku)
# ollama rm llama3.1

"""
ollama_client.py - Komunikacija sa lokalnim Ollama API-jem
Demonstrira OpenAI-kompatibilni API format koji Ollama podržava
"""

import requests
import json

# Ollama lokalni endpoint (ne treba internet niti API ključ!)
OLLAMA_URL = "http://localhost:11434"

def provjeri_ollama_status():
    """Provjera da li Ollama servis radi."""
    try:
        r = requests.get(f"{OLLAMA_URL}/", timeout=5)
        return r.status_code == 200
    except:
        return False

def lista_modela():
    """Vraća listu svih lokalno dostupnih modela."""
    r = requests.get(f"{OLLAMA_URL}/api/tags")
    models = r.json().get("models", [])
    return [(m["name"], m["size"]) for m in models]

def chat_sa_modelom(model: str, system_prompt: str, user_message: str) -> str:
    """
    Šalje Chat Completion zahtjev Ollama API-ju.
    Format je identičan OpenAI API-ju!
    """
    payload = {
        "model": model,
        "stream": False,  # Čekamo kompletan odgovor (za demonstraciju)
        "messages": [
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": user_message}
        ],
        "options": {
            "temperature": 0.2,    # Niski temperature za tehničke odgovore
            "num_ctx": 4096,       # Context window limit (smanjujemo za brzinu)
            "num_predict": 500     # Max output tokena (Ollama terminologija)
        }
    }

    response = requests.post(
        f"{OLLAMA_URL}/api/chat",
        json=payload,
        timeout=120  # LLM inference može trajati duže na CPU-u
    )

    data = response.json()
    return data["message"]["content"]

def streaming_chat(model: str, user_message: str):
    """
    Streaming verzija — prikazuje tokene čim se generišu.
    Bez ovoga, na CPU-u bismo čekali 30-60 sekundi bez ikakvog outputa.
    """
    payload = {
        "model": model,
        "stream": True,  # Streaming MODE aktiviran!
        "messages": [
            {"role": "user", "content": user_message}
        ]
    }

    # requests stream=True drži vezu otvorenom i čita chunks
    with requests.post(f"{OLLAMA_URL}/api/chat", json=payload, stream=True) as r:
        for line in r.iter_lines():
            if line:
                chunk = json.loads(line)
                if not chunk.get("done", False):
                    # Svaki chunk sadrži jedan token (djelić teksta)
                    token = chunk["message"]["content"]
                    print(token, end="", flush=True)  # flush=True za real-time ispis
    print()  # Novi red na kraju


# ================================================================
# DEMO PROGRAM
# ================================================================

if __name__ == "__main__":
    print("🦙 Ollama Python Klijent Demo\n")

    # Provjera statusa
    if not provjeri_ollama_status():
        print("❌ Ollama servis nije pronađen na localhost:11434!")
        print("   Pokrenite Ollama aplikaciju i pokušajte ponovo.")
        exit(1)

    print("✅ Ollama servis radi!\n")

    # Lista modela
    modeli = lista_modela()
    if not modeli:
        print("⚠️  Nema preuzetih modela. Pokrenite: ollama pull llama3.1")
        exit(1)

    print("📋 Lokalno dostupni modeli:")
    for ime, velicina in modeli:
        print(f"   - {ime} ({velicina / (1024**3):.1f} GB)")

    # Koristimo prvi dostupni model
    model = modeli[0][0]
    print(f"\n🤖 Koristim model: {model}\n")

    # Test 1: Obična chat komunikacija
    print("="*60)
    print("TEST 1: Standardni poziv (čeka na kompletan odgovor)")
    print("="*60)

    odgovor = chat_sa_modelom(
        model=model,
        system_prompt="Ti si senior Linux sistem administrator. Odgovaraj kratko, samo konkretni odgovori.",
        user_message="Koja naredba prikazuje live CPU usage po svakoj jezgri?"
    )
    print(f"Odgovor:\n{odgovor}")

    # Test 2: Streaming poziv
    print("\n" + "="*60)
    print("TEST 2: Streaming poziv (tokeni se pojavljuju u real-time)")
    print("="*60)
    print("Odgovor (streaming):")
    streaming_chat(
        model=model,
        user_message=(
            "Objasni u 3 kratke tačke: šta je Docker i kako pomaže "
            "DevOps timu u svakodnevnom radu?"
        )
    )

# Aktivacija venv i pokretanje
.\venv\Scripts\Activate.ps1
pip install requests  # Ako nije instalirano
python ollama_client.py