Neke ljude izraz “crna kutija” podsjeća na uređaje za snimanje u avionima koji su vrijedni za postmortalne analize ako se dogodi nezamislivo. Drugima to priziva male, minimalno opremljene kazališne prostore. No, crna kutija je također važan pojam u svijetu umjetne inteligencije.
AI crne kutije odnose se na AI sustave s unutarnjim radom koji je nevidljiv korisniku. Možete im dati ulazne podatke i dobiti izlaz, ali ne možete pregledati kȏd sustava ili logiku koja je proizvela izlaz.
Strojno učenje je dominantan podskup umjetne inteligencije. Ono je temelj generativnih AI sustava poput ChatGPT i DALL-E2. Postoje tri komponente strojnog učenja: algoritam ili skup algoritama, podaci za obuku i model. Algoritam je skup procedura. U strojnome učenju, algoritam uči prepoznavati obrasce nakon što je obučen na velikom skupu primjera — podacima za obuku. Kada je algoritam strojnog učenja obučen, rezultat je model strojnog učenja. Model je ono što ljudi koriste.
Na primjer, algoritam strojnog učenja mogao bi biti dizajniran za prepoznavanje obrazaca na slikama, a podaci za obuku mogli bi biti slike pasa. Rezultirajući model strojnog učenja bio bi prepoznavatelj pasa. Dali biste mu sliku kao ulaz i dobili kao izlaz informaciju o tome predstavlja li skup piksela na slici psa i gdje se nalazi.
Bilo koja od tri komponente sustava strojnog učenja može biti skrivena, odnosno u crnoj kutiji. Kao što je često slučaj, algoritam je javno poznat, što čini njegovo stavljanje u crnu kutiju manje učinkovitim. Stoga, kako bi zaštitili svoje intelektualno vlasništvo, AI programeri često stavljaju model u crnu kutiju. Drugi pristup koji koriste softverski programeri je skrivanje podataka korištenih za obuku modela — drugim riječima, stavljanje podataka za obuku u crnu kutiju.
Suprotnost crne kutije ponekad se naziva staklena kutija. AI staklena kutija je sustav čiji su algoritmi, podaci za obuku i model dostupni svima na uvid. No, istraživači ponekad karakteriziraju aspekte čak i tih sustava kao crnu kutiju.
To je zato što istraživači ne razumiju u potpunosti kako algoritmi strojnog učenja, osobito dubokog učenja, djeluju. Područje objašnjive umjetne inteligencije radi na razvoju algoritama koji, iako nisu nužno staklene kutije, mogu biti razumljivi ljudima.
Zašto su AI crne kutije važne
U mnogim slučajevima, postoji dobar razlog za oprez prema algoritmima i modelima strojnog učenja koji su crne kutije. Pretpostavimo da je model strojnog učenja postavio dijagnozu o vašem zdravlju. Biste li željeli da model bude crna kutija ili staklena kutija? Što je s liječnikom koji vam propisuje tijek liječenja? Možda bi želio znati kako je model došao do svoje odluke.
Što ako vas model strojnog učenja koji određuje ispunjavate li uvjete za poslovni kredit u banci odbije? Zar ne biste željeli znati zašto? Ako biste znali, mogli biste učinkovitije osporiti odluku ili promijeniti svoju situaciju kako biste povećali šanse za dobivanje kredita sljedeći put.
Crne kutije također imaju važne implikacije za sigurnost softverskih sustava. Godinama su mnogi ljudi u računalnom polju mislili da će zadržavanje softvera u crnoj kutiji spriječiti hakere da ga pregledavaju i stoga će biti siguran. Ova pretpostavka je uglavnom dokazano pogrešna jer hakeri mogu doći do softvera obrnutim inženjeringom— to jest, izgraditi facsimil pažljivo promatrajući kako neki softver radi — i otkriti ranjivosti koje mogu iskoristiti.
Ako je softver u staklenoj kutiji, tada ga softverski testeri i dobronamjerni hakeri mogu pregledati i obavijestiti kreatore o slabostima, čime se minimiziraju cyber napadi.
Saurabh Bagchi je profesor elektrotehnike i računalnog inženjerstva na Sveučilištu Purdue. Dobiva financijska sredstva za istraživanje od velikog broja izvora, uključujući saveznu vladu, državnu vladu i privatna poduzeća.
Ovaj članak je preveden i objavljen iz The Conversation pod licencom Creative Commons. Izvorni članak možete pronaći ovdje.
