LLM Deployment i API Parametri

{
  "model": "gpt-4o",
  "temperature": 0.0,
  "max_tokens": 500,
  "messages": [
    {
      "role": "system",
      "content": "Ti si inženjerski alat za dijagnostiku sistema. Odgovaraj isključivo na bosanskom jeziku. Budi precizan i koncizan."
    },
    {
      "role": "user",
      "content": "Prikazujem Out Of Memory grešku na Docker kontejnerima svako jutro u 3:00. Koji su najčešći uzroci?"
    }
  ]
}

/*
  OBJAŠNJENJE ULOGA:
  - "system": Definiše identitet i ponašanje AI-ja. Čita se jednom na početku.
               Analogija: Job description za zaposlenika.
               
  - "user":   Poruka od korisnika aplikacije (input).
  
  - "assistant": Historija prošlih odgovora modela (za multi-turn konverzacije).
                 Vi ovo šaljete ručno u svakom pozivu — server je "stateless"!
*/

OPENAI_API_KEY=sk-proj-OVDJE_UNESITE_VAŠ_KLJUČ
# Ako nemate ključ, ostavite ovako i koristite lokalni Ollama na kraju laba

# Kreiranje .gitignore fajla koji sprječava Git da prati .env
echo ".env" | Out-File -FilePath .gitignore -Encoding utf8
echo "venv/" | Out-File -FilePath .gitignore -Encoding utf8 -Append
echo "__pycache__/" | Out-File -FilePath .gitignore -Encoding utf8 -Append
echo "*.pyc" | Out-File -FilePath .gitignore -Encoding utf8 -Append

# Instalacija python-dotenv za čitanje .env fajlova
pip install python-dotenv requests

"""
api_test.py - Direktni HTTP poziv OpenAI API-ju (bez SDK)
Cilj: Vidjeti tačnu strukturu request/response i testirati temperature parametar
"""

import os
import json
import requests
from dotenv import load_dotenv

# Korak 1: Učitavanje API ključa iz .env fajla
# load_dotenv() čita .env fajl i postavlja varijable u os.environ
load_dotenv()
api_key = os.environ.get("OPENAI_API_KEY")

if not api_key:
    print("❌ OPENAI_API_KEY nije pronađen u .env fajlu!")
    print("   Kreirajte .env fajl sa: OPENAI_API_KEY=sk-...")
    exit(1)

print(f"✅ API ključ pronađen: ...{api_key[-8:]}")  # Prikazujemo samo zadnjih 8 znakova

# Korak 2: Definisanje API endpoint-a
# OpenAI-jeva Chat Completion API ruta
url = "https://api.openai.com/v1/chat/completions"

# Korak 3: HTTP Headers (Authorization + Content-Type)
headers = {
    "Content-Type": "application/json",   # Govorimo serveru format podataka
    "Authorization": f"Bearer {api_key}"  # Bearer token autentikacija
}

# Korak 4: Definisanje system prompta i user poruke
SYSTEM_PROMPT = """You are a senior DevOps engineer and Linux system administrator.
Provide concise, actionable answers. Always include relevant commands.
Respond in Bosnian language."""

USER_QUESTION = "Objasnite šta je OOM Killer u Linux kernelu i kako spriječiti Out-of-Memory greške na produkcijskim serverima."

print(f"\n📤 Pitanje: {USER_QUESTION}")
print("="*70)

# Korak 5: Testiranje TEMPERATURE efekta
# Testiramo isti prompt sa različitim temperature vrijednostima

temperatures_to_test = [0.0, 0.7, 1.5]

for temp in temperatures_to_test:
    print(f"\n🌡️  TEMPERATURE = {temp}")
    print("-"*50)

    # JSON tijelo zahtjeva
    payload = {
        "model": "gpt-4o",
        "temperature": temp,
        "max_tokens": 250,  # Ograničavamo dužinu odgovora
        "messages": [
            {"role": "system", "content": SYSTEM_PROMPT},
            {"role": "user", "content": USER_QUESTION}
        ]
    }

    try:
        # Slanje HTTP POST zahtjeva
        response = requests.post(url, headers=headers, json=payload, timeout=30)

        if response.status_code == 200:
            data = response.json()  # Parsiramo JSON odgovor

            # Ekstrakcija teksta odgovora iz nested JSON strukture
            answer = data['choices'][0]['message']['content']
            finish_reason = data['choices'][0]['finish_reason']  # 'stop', 'length', itd.

            # Token usage informacije (za praćenje troškova)
            usage = data['usage']

            print(f"Odgovor:\n{answer}")
            print(f"\n📊 Token Statistike:")
            print(f"   Input:  {usage['prompt_tokens']:,} tokena")
            print(f"   Output: {usage['completion_tokens']:,} tokena")
            print(f"   Total:  {usage['total_tokens']:,} tokena")
            print(f"   Finish: {finish_reason}")

            # Izračun troška za ovaj poziv
            cost = (usage['prompt_tokens'] * 5.0 / 1_000_000) + \
                   (usage['completion_tokens'] * 15.0 / 1_000_000)
            print(f"   💰 Trošak ovog poziva: ${cost:.6f}")

        elif response.status_code == 401:
            print("❌ Greška 401: Neispravan API ključ!")
        elif response.status_code == 429:
            print("❌ Greška 429: Rate limit dostignut. Pričekajte malo.")
        else:
            print(f"❌ Greška {response.status_code}: {response.text[:300]}")

    except requests.exceptions.Timeout:
        print("❌ Timeout: API poziv nije odgovoriti u 30 sekundi")
    except requests.exceptions.ConnectionError:
        print("❌ Greška konekcije: Nema internet veze")

print("\n" + "="*70)
print("✅ Test završen!")

python api_test.py

# Za Ollama lokalni API, zamjenite ove vrijednosti:
url = "http://localhost:11434/v1/chat/completions"  # Lokalni Ollama
headers = {
    "Content-Type": "application/json",
    # Nema Authorization header-a za lokalni Ollama!
}
# U payload-u promjenite model:
payload["model"] = "llama3.1"  # Ili koji god model imate instaliran

# Sve ostalo (temperature, max_tokens, messages) ostaje identično!
# Ovo je moćna prednost: OpenAI-compatible API format je de-facto standard