„Želimo koristiti AI, ali ne želimo slati internu dokumentaciju bilo kome.”
To je dobro polazište za razgovor. Ipak, odgovor nije automatski ni „sve mora biti lokalno” ni „cloud je jednostavniji pa uzmite njega”.
Odluka između lokalnog AI-ja i AI-ja u cloudu treba krenuti od podataka, broja korisnika i zadatka koji želite riješiti. Tek nakon toga ima smisla razgovarati o modelima i opremi.
Što zapravo birate?
Kod lokalne izvedbe AI model pokreće se na računalu ili poslužitelju pod vašim upravljanjem. Kod cloud izvedbe zahtjev obrađuje udaljena infrastruktura. Odvojeno je pitanje gdje se nalazi arhiva dokumenata i šalje li aplikacija iz nje sadržaj modelu.
Lokalna mapa s dokumentima ne znači da je i AI obrada lokalna. Jednako tako, naziv „privatni asistent” sam po sebi ne opisuje put podataka.
Za procjenu tražite jednostavan dijagram: od mjesta gdje dokument nastaje do mjesta gdje se sastavlja odgovor. U njemu trebaju biti vidljivi i vanjski servisi, ako se koriste.
Kada odabrati lokalni AI, a kada cloud?
Kada bismo razmatrali lokalni AI?
Lokalna obrada posebno je zanimljiva kada je važno zadržati sadržaj na vlastitoj infrastrukturi ili kada svakodnevni rad ne smije ovisiti o dostupnosti vanjskog AI servisa.
Postoje alati koji mogu pokretati lokalne modele i isključiti cloud funkcije. Međutim, preuzimanje modela, ažuriranja i druge komponente zasebno su pitanje. Za stvarni rad bez interneta treba unaprijed pripremiti sve ovisnosti i provjeriti cijelu instalaciju. Ollama: lokalna obrada i isključivanje cloud funkcija
Takvo rješenje ne mora odmah značiti veliku serversku investiciju. U našem projektu koristili smo jedno stolno računalo. To je dokaz izvedivosti određenog opsega, ne preporuka iste konfiguracije za svaku organizaciju.
Kada bismo razmatrali cloud?
Cloud bismo stavili na stol kada organizacija ne želi upravljati vlastitim AI hardverom, kada treba fleksibilnije kapacitete ili kada je vanjska obrada odabranih podataka prihvatljiva.
Prije odabira treba provjeriti uvjete konkretnog servisa: koje podatke prima, zadržava li ih, koristi li ih za treniranje, gdje ih obrađuje i koje su kontrole dostupne. Ne treba pretpostaviti da sve cloud usluge imaju iste uvjete.
Jednako je važno provjeriti što se događa kada usluga nije dostupna, promijene se cijene ili korisnici dosegnu ugovorena ograničenja. To su pitanja za projektni plan, ne razlog da se cloud unaprijed odbaci.
Lokalno ne znači automatski sigurno
Tvrtka može zadržati model na svojem računalu i svejedno pogrešno postaviti pristup dokumentima. Ako zaposlenik kroz chat može doći do podataka koje inače ne smije otvoriti, lokacija modela nije riješila problem.
Kod sustava koji pretražuju interne izvore važni su usklađeni pristupi dokumentima i pretrazi. Neodgovarajuće kontrole mogu dovesti do otkrivanja osjetljivih informacija. OWASP: pristup podacima u RAG sustavima
Zato za obje arhitekture treba definirati korisničke ovlasti, zaštitu pohrane, sigurnosne kopije, sadržaj logova i odgovornost za održavanje. Kod lokalnog sustava treba provjeriti i mrežnu dostupnost. „Dostupno samo u uredu” nije isto što i „dostupno samo ovlaštenim osobama”.
Je li lokalni model dovoljno dobar?
To treba testirati na vašem zadatku, a ne procjenjivati samo prema imenu modela.
Za asistenta nad dokumentima predlažemo usporedbu na istim pitanjima i istim izvorima. Mjerite pronalazi li relevantan sadržaj, razlikuje li podatak od pretpostavke i navodi li kada nema dovoljno podloge za odgovor.
Veći ili poznatiji model ne popravlja automatski loše odabrane izvore. Kvaliteta RAG sustava ovisi i o pripremi sadržaja, pretrazi te izboru odlomaka koji ulaze u kontekst. Microsoft Learn: kako radi RAG
Koliko košta lokalni AI u usporedbi s cloudom?
Troškovi lokalnog AI sustava
Za lokalni sustav u računicu stavite opremu, razvoj, pripremu podataka, električnu energiju, održavanje i eventualnu zamjenu komponenti. To što se odgovor generira lokalno ne znači da rad nema trošak.
Troškovi cloud izvedbe
Za cloud izvedbu provjerite naknade za modele, pretragu, pohranu i druge korištene servise, uz razvoj i održavanje aplikacije. U Domini Studiju opseg automatizacije ugovaramo nakon analize, a vanjske naknade razdvajamo od cijene razvoja.
Primjer procjene isplativosti
Prije kupnje hardvera ili ugovaranja servisa napravite mali poslovni izračun. Hipotetski primjer: osam zaposlenika svakog radnog dana troši po 15 minuta na isti tip traženja. U 20 radnih dana to je 40 radnih sati.
To nije obećana ušteda od 40 sati. Dio vremena i dalje će biti potreban za postavljanje pitanja i provjeru odgovora. Ali dobivate polazište za mjerenje isplativosti, umjesto odluke prema dojmu.
Može li rješenje biti kombinirano?
Može se projektirati kombinacija u kojoj se određeni zadaci obrađuju lokalno, a drugi putem odobrenog vanjskog servisa. Granica pritom mora biti jasna: koji se podaci smiju poslati i pod kojim uvjetima.
Ne bismo uvodili skriveno prebacivanje povjerljivih upita na cloud samo zato što je lokalni model trenutačno sporiji. Takva odluka pripada pravilima sustava i dogovoru s naručiteljem.
Kako donijeti odluku bez nepotrebnog ulaganja?
Odredite što korisnik treba dobiti, koji podaci smiju u vanjsku obradu i koliko će se ljudi istodobno koristiti sustavom. Zatim provjerite postojeću infrastrukturu i testirajte manji opseg.
U prikazu našeg lokalnog AI projekta možete vidjeti što smo napravili na jednom računalu. Za razumijevanje rada s arhivom pročitajte kako funkcionira AI pretraživanje dokumenata.
Za procjenu vlastitog rješenja javite se Domini Studiju s opisom zadatka i ograničenja. Cilj nije prodati vam server ili cloud pretplatu, nego odabrati arhitekturu koja ima smisla za vaš način rada.
