Znate da ste sličan problem već riješili. Negdje postoji zapis, izvještaj ili stara ponuda. Samo ne znate zove li se datoteka „izvještaj”, „dopuna” ili „konačna_verzija_2”.
AI pretraživanje dokumenata omogućuje drukčiji početak: umjesto naziva datoteke upisujete ono što želite saznati.
Primjerice: „Pronađi projekte u kojima je isporuka kasnila zbog promjene specifikacije.” To je opis situacije, a ne ključna riječ. Upravo tu pretraga prema značenju postaje korisna.
Pretraga po značenju ne zamjenjuje svaku klasičnu pretragu
Za broj ponude, šifru proizvoda ili točan naziv tvrtke najbolje polazište često je precizno tekstualno podudaranje. Za pitanje o sličnom problemu potrebna je šira pretraga.
Zato kvalitetno rješenje može kombinirati oba pristupa. Tekstualna pretraga pomaže s točnim oznakama, a semantička pronalazi sadržajno povezane odlomke i kada se riječi razlikuju. Takva kombinacija naziva se hibridno pretraživanje. Microsoft Learn: hibridno pretraživanje
U dokumentu, primjerice, možda ne piše „isporuka je kasnila”, nego „rok je produljen zbog izmjene narudžbe”. Sustav bi trebao prepoznati moguću povezanost, a zatim pokazati izvor kako bi korisnik provjerio odgovara li stvarno pitanju.
Kako izgleda AI pretraživanje Word i PDF arhive?
Priprema dokumentacije za pretraživanje
Najprije se iz dokumenata izdvaja tekst i priprema pretraživi indeks. Dugi dokumenti dijele se na manje cjeline, uz očuvanu vezu s izvornom datotekom i mjestom na kojem se tekst nalazi.
Pretraživanje i sastavljanje odgovora
Kada korisnik postavi pitanje, pretražuju se pripremljeni podaci. Odabrani odlomci mogu se dodatno rangirati, a AI iz njih priprema odgovor. Izvorni dokumenti ostaju dostupni za provjeru. Microsoft Learn: kako radi RAG
Važno je razlikovati ta dva trenutka. Početna obrada arhive može trajati znatno dulje od pojedinačnog upita. To ne znači da sustav pri svakom pitanju ponovno otvara i čita svaku datoteku.
U našem projektu s velikom arhivom odvojili smo inventuru, indeksiranje i odgovaranje upravo zato da se svakodnevna pretraga ne svodi na ponovno obrađivanje svega.
Treba li AI istrenirati na svim dokumentima?
Za ovakav zadatak to nije nužno. U pristupu RAG dokumenti ostaju zaseban izvor podataka koji sustav pronalazi prema pitanju. Model ih koristi kao kontekst za odgovor; ne mora ih sve „naučiti napamet”. Lewis i sur.: Retrieval-Augmented Generation
To je i način na koji smo pristupili našem projektu. Nismo dodatno trenirali model na cijeloj arhivi, nego smo razvili način da do odgovarajućih dijelova arhive dođe u trenutku upita.
Dodatno treniranje i povezivanje s dokumentima nisu ista stvar. Prije odluke o tehnologiji treba odrediti tražite li drukčije ponašanje modela ili bolji pristup informacijama.
Moraju li dokumenti biti u jednoj mapi?
Ne moraju. U implementaciji koju smo razvili sačuvana je postojeća struktura mapa i podmapa. Sustav prolazi kroz njih, a putanja ostaje povezana s dokumentom.
Ipak, priprema arhive nije nevažna. Potrebno je prepoznati duplikate, nečitljive datoteke, stare formate i različite verzije istog dokumenta. Ako je stara uputa zamijenjena novom, asistent to ne bi smio zaključivati samo prema uvjerljivosti teksta.
Za produkcijsku primjenu preporučujemo da se odredi kako prepoznati važeću verziju, tko održava sadržaj i kada se promjene uključuju u pretragu.
Što je sa skeniranim PDF-ovima i starim Word datotekama?
Skenirani PDF-ovi i OCR
PDF može sadržavati pravi tekst, ali može biti i slika skeniranog papira. U drugom slučaju potreban je OCR, odnosno prepoznavanje znakova sa slike. Obično izdvajanje teksta iz PDF-a ne može samo pročitati ono što je spremljeno isključivo kao slika. pypdf: tekstualni i skenirani PDF dokumenti
OCR nije jamstvo savršenog prijepisa. Posebno treba provjeravati brojeve, tablice, blijede skenove i rukopis. Za početnu procjenu zato je korisnije dobiti nekoliko reprezentativnih dokumenata nego samo podatak koliko arhiva ima gigabajta.
Stare Word datoteke u formatu DOC
Stare .doc datoteke također ne treba unaprijed otpisati. U našem smo ih projektu lokalno pretvarali u radne .docx kopije radi izdvajanja teksta, bez promjene izvornika.
Kako prepoznati koristan odgovor?
Odgovor „pronašao sam nešto slično” nije dovoljan. Korisnik treba moći vidjeti na koji se dokument asistent poziva i otvoriti odgovarajući sadržaj.
Pritom citat nije potvrda da je svaka rečenica točna. AI može pogrešno povezati podatke ili izvesti zaključak koji izvor ne podupire. Zbog toga odgovor s izvorima treba tretirati kao polazište za provjeru, a ne kao automatski provjerenu činjenicu. OWASP: netočne i nepoduprte tvrdnje AI modela
Važno je i što sustav kaže kada nema dovoljno podataka. „U dohvaćenim izvorima nisam pronašao odgovor” nije isto što i „takav dokument ne postoji u arhivi”. Druga tvrdnja tražila bi dokaz da je pretraga bila potpuna.
Kako testirati rješenje prije širenja na cijelu tvrtku?
Predlažemo tri vrste pitanja: točnu oznaku dokumenta koji poznajete, opis problema bez njegovih izvornih ključnih riječi te pitanje na koje odabrana dokumentacija ne daje odgovor.
Uz relevantnost pratite i izvore, različite verzije te vrijeme potrebno za provjeru rezultata. Lijepo sročen tekst nije dovoljan kriterij za prihvat.
Praktične brojke i iskustva donosimo u prikazu projekta s oko 40.000 dokumenata. O širem poslovnom smislu pročitajte vodič o privatnom AI-ju za tvrtke.
Može li se pretraživati i vaša arhiva?
Za početni razgovor pripremite okviran broj datoteka, njihove formate i tri konkretna pitanja koja danas teško rješavate. Navedite i koliko je dokumenata skenirano te tko bi koristio aplikaciju.
Pošaljite opis kroz kontakt Domini Studija. Na temelju toga možemo predložiti opseg početnog testa, bez potrebe da odmah šaljete cijelu poslovnu dokumentaciju.
