Tokenizacija i Context Management

# Aktivacija venv (ako nije aktivno)
cd C:\Users\$env:USERNAME\Desktop\AI_Kurs
.\venv\Scripts\Activate.ps1

# tiktoken je OpenAI-jeva open-source biblioteka za tokenizaciju
# Isti tokenizer koji koriste GPT-3, GPT-4, o1, o3 modeli
pip install tiktoken

# Provjera instalacije
python -c "import tiktoken; print('tiktoken OK, verzija:', tiktoken.__version__)"

"""
analyzer.py - Alat za analizu tokenizacije i troškova LLM API-ja
Autor: AI Training Kurs, Modul 1.2
"""

# Importamo tiktoken biblioteku (OpenAI tokenizer)
import tiktoken

# ================================================================
# Korak 1: Inicijalizacija tokenizera
# ================================================================
# Svaki model ima vlastiti tokenizer (encoding).
# "cl100k_base" je encoding koji koriste: gpt-4, gpt-4o, gpt-3.5-turbo
# "o200k_base" koriste noviji o1, o3, gpt-4o-mini modeli
# Koristimo encoding_for_model() da automatski odaberemo pravi encoding:

encoding = tiktoken.encoding_for_model("gpt-4o")

print(f"Tokenizer učitan: {encoding.name}")
print(f"Veličina rječnika: {encoding.n_vocab:,} tokena")
# Trebate vidjeti: 200,019 tokena u rječniku gpt-4o tokenizera

print("\n" + "="*60)

# ================================================================
# Korak 2: Naši test stringovi (isti sadržaj, dva jezika)
# ================================================================

text_english = (
    "The database migration caused significant downtime on the main "
    "production cluster due to locking issues in the transaction log."
)

text_bosnian = (
    "Migracija baze podataka uzrokovala je značajan prekid rada na "
    "glavnom produkcijskom klasteru zbog problema sa zaključavanjem "
    "u dnevniku transakcija."
)

# ================================================================
# Korak 3: Tokenizacija
# ================================================================
# encode() metoda prima string i vraća Python listu Integer-a (token ID-eva)
# Svaki integer je indeks tokena u rječniku modela

tokens_eng = encoding.encode(text_english)
tokens_bos = encoding.encode(text_bosnian)

# decode_single_token_bytes() vraća bytes reprezentaciju svakog tokena
# Ovo nam omogućava da vidimo točno kako se svaki ID mapira na tekst

print("="*60)
print("📊 ANALIZA ENGLESKOG TEKSTA")
print("="*60)
print(f"Originalni tekst ({len(text_english)} znakova):")
print(f"  '{text_english}'")
print(f"\nBroj tokena: {len(tokens_eng)}")
print(f"Token ID niz: {tokens_eng}")
print(f"\nDetaljna tokenizacija (token → tekst koji reprezentira):")
for token_id in tokens_eng:
    # decode() pretvara token ID natrag u string za čitanje
    token_text = encoding.decode([token_id])
    print(f"  [{token_id:6d}] → '{token_text}'")

print("\n" + "="*60)
print("📊 ANALIZA BOSANSKOG TEKSTA")
print("="*60)
print(f"Originalni tekst ({len(text_bosnian)} znakova):")
print(f"  '{text_bosnian}'")
print(f"\nBroj tokena: {len(tokens_bos)}")
print(f"Token ID niz: {tokens_bos}")
print(f"\nDetaljna tokenizacija:")
for token_id in tokens_bos:
    token_text = encoding.decode([token_id])
    print(f"  [{token_id:6d}] → '{token_text}'")

# ================================================================
# Korak 4: Izračunavanje finansijskog impakta
# ================================================================
# Scenario: Imamo sistem koji procesira 1,000,000 ovakvih poruka
# GPT-4o cijena: Input = $5.00 / 1M tokena, Output = $15.00 / 1M tokena
# Pretpostavimo da je output otprilike jednak inputu po dužini

INPUT_PRICE_PER_MILLION = 5.00   # USD za 1 Milion input tokena
OUTPUT_PRICE_PER_MILLION = 15.00  # USD za 1 Milion output tokena
PORUKA_COUNT = 1_000_000         # Obrađujemo 1 milion poruka

print("\n" + "="*60)
print("💰 FINANSIJSKA KALKULACIJA — 1,000,000 poruka")
print("="*60)

def calculate_cost(token_count, n_messages):
    """Izračunava ukupni trošak za n_messages identičnih poruka."""
    total_input_tokens = token_count * n_messages
    total_output_tokens = token_count * n_messages  # Pretpostavljamo isti output

    input_cost = (total_input_tokens / 1_000_000) * INPUT_PRICE_PER_MILLION
    output_cost = (total_output_tokens / 1_000_000) * OUTPUT_PRICE_PER_MILLION

    return input_cost + output_cost, total_input_tokens, total_output_tokens

cost_eng, in_tokens_eng, out_tokens_eng = calculate_cost(len(tokens_eng), PORUKA_COUNT)
cost_bos, in_tokens_bos, out_tokens_bos = calculate_cost(len(tokens_bos), PORUKA_COUNT)

print(f"\n🇺🇸 ENGLESKI:")
print(f"   Tokeni po poruci: {len(tokens_eng)}")
print(f"   Ukupni input tokeni: {in_tokens_eng:,}")
print(f"   Ukupni output tokeni: {out_tokens_eng:,}")
print(f"   💵 UKUPNI TROŠAK: ${cost_eng:,.2f}")

print(f"\n🇧🇦 BOSANSKI:")
print(f"   Tokeni po poruci: {len(tokens_bos)}")
print(f"   Ukupni input tokeni: {in_tokens_bos:,}")
print(f"   Ukupni output tokeni: {out_tokens_bos:,}")
print(f"   💵 UKUPNI TROŠAK: ${cost_bos:,.2f}")

print(f"\n📊 ZAKLJUČAK:")
ratio = len(tokens_bos) / len(tokens_eng)
extra_cost = cost_bos - cost_eng
print(f"   Bosanski tekst ima {ratio:.2f}x VIŠE tokena od ekvivalenta na engleskom")
print(f"   Na 1 milion poruka, bosanski košta EXTRA: ${extra_cost:,.2f}")
print(f"\n💡 Inženjerska preporuka: Pišite system prompts i API instrukcije na ENGLESKOM!")
print(f"   Output tražite na bosanskom samo za krajnjeg korisnika.")

# Uvjerite se da ste u AI_Kurs folderu sa aktivnim venv-om
python analyzer.py

import tiktoken

enc = tiktoken.encoding_for_model("gpt-4o")

print("🔤 Interaktivni Tokenizer")
print("Napišite tekst (ili 'quit' za izlaz):\n")

while True:
    text = input(">>> ")
    if text.lower() in ['quit', 'exit', 'q']:
        break

    tokens = enc.encode(text)
    print(f"  Broj znakova: {len(text)}")
    print(f"  Broj tokena:  {len(tokens)}")
    print(f"  Tokenizovano:")
    for tid in tokens:
        print(f"    '{enc.decode([tid])}' (ID: {tid})")
    print(f"  Omjer tok/slovo: {len(tokens)/len(text):.2f}")
    print()

python interactive_tokenizer.py
# Probajte unijeti: "Hello" vs "Zdravo" vs "Šeširdžija"
# Vidite razliku u broju tokena za iste koncepte na različitim jezicima!