Hugging Face Ekosistem: Hub, Pipeline i Lokalna Inferencijalnost

# Osvježimo/provjeri instliran transformers
# Transformers je instaliran u Lekciji 1.1 — samo provjera
pip show transformers
# Trebate vidjeti verziju (4.x.x)

# Napravite fajl za ovaj lab
# File → New File → hf_lab.py (u VS Code)

"""
hf_lab.py - Hugging Face Pipeline Lab
Modul 2.4: Hugging Face Ekosistem
Zahtjevi: transformers, torch (instalirano u Lekciji 1.1)
"""

from transformers import pipeline
import torch

# ================================================================
# DEMO 1: SENTIMENT ANALIZA — Klasifikacija IT helpdesk ticketa
# ================================================================

print("="*65)
print("  🤗 DEMO 1: Sentiment Analiza (Helpdesk Ticketi)")
print("="*65)

# Kreiranje pipeline objekta
# Ako model nije keširan — automatski skine ~67MB (DistilBERT)
# device=-1 znači CPU, device=0 znači GPU (ako postoji)
print("\n⏳ Učitavanje sentiment modela... (preuzimanje ako prvi put ~67MB)")
sentiment_pipeline = pipeline(
    "sentiment-analysis",
    # Eksplicitno navođimo model (default je dobar, ali praksa je biti eksplicitan)
    model="distilbert-base-uncased-finetuned-sst-2-english",
    device=-1  # -1 = CPU (0 = prva GPU ako ima NVIDIA GPU)
)
print("✅ Model učitan!\n")

# Testni IT helpdesk emailovi/ticketi
helpdesk_ticketi = [
    "The system has been completely down for 3 hours! Critical production failure! Clients cannot access anything!",
    "Could you please update the SSL certificate on our internal server when you have a chance? No rush.",
    "This is absolutely unacceptable! The database migration wiped all our data! I need to speak with a manager NOW!",
    "Everything seems to be working perfectly after the update. Great job, team!",
    "Getting occasional timeout errors on the customer portal. Not urgent but wanted to flag it.",
]

print("📋 Analiza helpdesk ticketa:")
print("-" * 60)

for ticket in helpdesk_ticketi:
    # Pozivamo pipeline kao funkciju
    # Moguće je proslijediti jednu string ili listu stringova
    rezultat = sentiment_pipeline(ticket)[0]  # [0] jer vraća listu (batch support)

    label = rezultat["label"]       # "POSITIVE" ili "NEGATIVE"
    score = rezultat["score"]       # Vjerovatnoća (0.0 - 1.0)
    confidence = score * 100

    # Odredimo prioritet na osnovu sentimenta + sigurnosti
    if label == "NEGATIVE" and score > 0.90:
        prioritet = "🔴 HIGH PRIORITY"
    elif label == "NEGATIVE":
        prioritet = "🟡 MEDIUM"
    else:
        prioritet = "🟢 LOW/Normal"

    # Skraćivanje teksta za čitljiv ispis
    kratki_tekst = ticket[:60] + "..." if len(ticket) > 60 else ticket

    print(f"\nTicket: '{kratki_tekst}'")
    print(f"   Sentiment:  {label} ({confidence:.1f}% confidence)")
    print(f"   Prioritet:  {prioritet}")

print("\n💡 Ovo se može automatizovati za triažu ticketa u helpdesk sistemu!")

# ================================================================
# DEMO 2: ZERO-SHOT KLASIFIKACIJA — Kategorizacija bez treninga
# ================================================================

print("\n" + "="*65)
print("  🤗 DEMO 2: Zero-Shot Klasifikacija (Bez Treninga!)")
print("="*65)

print("\n⏳ Učitavanje zero-shot modela... (~500MB, strpljivo!)")
# facebook/bart-large-mnli je odlično za zero-shot (~1.6GB)
# Za CPU lab koristimo distilbart koji je manji
zero_shot = pipeline(
    "zero-shot-classification",
    model="cross-encoder/nli-distilroberta-base",  # Manji (~300MB)
    device=-1
)
print("✅ Zero-shot model učitan!\n")

# Definirate labele SAMI — model nije treniran za njih posebno!
# Ovo je ključna prednost zero-shot pristupa
KATEGORIJE = [
    "kritična infrastrukturna greška",
    "bezbjednosni incident",
    "hardware problem",
    "software bug",
    "zahtjev za pristupom",
    "generalno IT pitanje"
]

it_tekst = """
Korisnik sa IP adrese 192.168.1.105 pokušao pristupiti admin panelu
koristeći brute-force napad u 02:34h. IDS sistem blokirao 947 neuspjelih
login pokušaja u roku od 8 minuta. Potrebna je istraga i privremena blokada IP rangea.
"""

print(f"Incident opis: {it_tekst.strip()[:120]}...")
print(f"\nMoguće kategorije: {KATEGORIJE}")

rezultat = zero_shot(it_tekst, KATEGORIJE)

print(f"\n🎯 Klasifikacijski rezultati (sortirani po sigurnosti):")
for label, score in zip(rezultat["labels"], rezultat["scores"]):
    bar = "█" * int(score * 30)
    print(f"  {label:40s} | {score:.3f} | {bar}")

print(f"\n✅ Kategorija: {rezultat['labels'][0]} ({rezultat['scores'][0]:.1%})")
print("💡 Zero-shot radi bez IKAKVOG treninga na vašim IT kategorijama!")

# ================================================================
# DEMO 3: NAMED ENTITY RECOGNITION (NER)
# ================================================================

print("\n" + "="*65)
print("  🤗 DEMO 3: Named Entity Recognition (NER)")
print("="*65)

print("\n⏳ Učitavanje NER modela... (~250MB)")
ner_pipeline = pipeline(
    "ner",
    model="dbmdz/bert-large-cased-finetuned-conll03-english",
    aggregation_strategy="simple",
    device=-1
)
print("✅ NER model učitan!\n")

it_izvjestaj = """
Microsoft Azure suffered a major outage affecting Germany North and Germany West regions
on March 15th. AWS reported 99.99% uptime during the same period. 
John Smith from IT Security notified the CTO Sarah Johnson about potential data exposure.
The incident occurred at the Frankfurt data center.
"""

print("Izvještaj za analizu:")
print(it_izvjestaj.strip())
print("\n🔍 Pronađeni entiteti:")

entiteti = ner_pipeline(it_izvjestaj)
for entitet in entiteti:
    entity_type = entitet["entity_group"]
    word = entitet["word"]
    score = entitet["score"]
    print(f"   [{entity_type:15s}] '{word}' ({score:.1%})")

print("\n💡 NER možete koristiti za automatsku anonimizaciju PVJL podataka!")
print("   Pronađena lična imena mogu biti automatski zamedana sa [OSOBA].")

# Pokretanje skripte (first run = download modela, budite strpljivi!)
python hf_lab.py

# HuggingFace prikazuje progress bar za download:
# Downloading (...)model.safetensors: 100%|██████| 268M/268M

# Provjera gdje su keširani modeli (za IT admin - disk cleanup)
ls $env:USERPROFILE\.cache\huggingface\hub\
# Vidite foldere po modelu (svaki ~100-2000MB)