Umetna inteligenca lahko pomembno izboljša odločitve, ki vplivajo na življenja ljudi. Toda kako zagotoviti, da pri tem ne posega nedopustno v njihove temeljne pravice? Evropski Akt o umetni inteligenci (Akt o UI) uvaja poseben instrument za presojo teh tveganj: oceno učinka na temeljne pravice (FRIA). Njena vrednost ne bo odvisna predvsem od kakovosti izpolnjenih obrazcev, temveč od tega, ali bodo organizacije znale prepoznati posledice svojih tehnoloških odločitev in zanje prevzeti odgovornost.
Predstavljajmo si, da pristojni organ pri odločanju o upravičenosti do socialne pomoči uporablja sistem umetne inteligence (UI). Sistem analizira podatke, prepoznava vzorce, opozarja na morebitne nepravilnosti in uslužbencu predlaga odločitev. Postopek je hitrejši, administrativnih obremenitev je manj, odločitve pa naj bi bile doslednejše.
Toda kaj, če sistem zaradi neustreznih podatkov sistematično slabše ocenjuje določeno skupino prosilcev? Kaj, če uslužbenec njegovemu priporočilu pripisuje večjo težo, kot bi jo smel? In kaj, če posameznik, ki mu je bila pomoč zavrnjena, sploh ne ve, da je na odločitev vplivala umetna inteligenca?
Z vidika učinkovitosti uprave je sistem morda uspešen. Z vidika varstva osebnih podatkov je lahko povsem skladen s predpisi. Toda ali to pomeni, da ustrezno varuje tudi temeljne pravice posameznika?
Prav s takšnimi vprašanji se ukvarja poročilo Agencije Evropske unije za temeljne pravice (FRA) Assessing High-risk Artificial Intelligence: Fundamental Rights Risks, objavljeno 4. decembra 2025. Njegove ugotovitve razkrivajo pomemben razkorak med načelnim zavedanjem o tveganjih umetne inteligence in sposobnostjo organizacij, da ta tveganja sistematično prepoznajo, ovrednotijo ter učinkovito obvladujejo.
Poročilo je posebej aktualno v času, ko se Evropska unija pripravlja na izvajanje zahtev za visokotvegane sisteme UI. V ospredje postavlja vprašanje, ki presega pravno skladnost: ali znamo učinke umetne inteligence presojati z vidika človeka, na katerega življenje tehnologija vpliva?
Temeljne pravice so veliko več kot varstvo osebnih podatkov
Ena najzanimivejših ugotovitev poročila FRA je, kako ozko ponudniki in uporabniki sistemov UI pogosto razumejo tveganja za temeljne pravice.
Raziskava, ki temelji na 38 poglobljenih intervjujih s ponudniki, uvajalci in strokovnjaki v petih državah članicah ter dodatnih pogovorih z 18 posamezniki, se osredotoča na pet občutljivih področij: azil, izobraževanje, zaposlovanje, kazenski pregon in socialne prejemke. Gre za kvalitativno raziskavo, zato njenih ugotovitev ni mogoče neposredno posplošiti na vse organizacije v Evropski uniji. Kljub temu razkrivajo zgovorne vzorce.
Večina intervjuvancev se zaveda tveganj, povezanih z zasebnostjo in varstvom osebnih podatkov. Nekateri prepoznavajo tudi nevarnost diskriminacije. Bistveno manj pozornosti pa namenjajo drugim temeljnim pravicam, čeprav so lahko prav te v konkretnem primeru najbolj neposredno prizadete.
FRA tako ugotavlja, da nihče izmed intervjuvancev s področja izobraževanja ni omenil pravice do izobraževanja, zagotovljene s 14. členom Listine EU o temeljnih pravicah. Na področju zaposlovanja nihče ni izpostavil svobodne izbire poklica in pravice do dela iz 15. člena Listine. Intervjuvanci s področja kazenskega pregona pa niso omenjali domneve nedolžnosti in pravice do obrambe iz 48. člena.
To je presenetljivo, vendar razumljivo. V zadnjih desetletjih smo se naučili tehnološka tveganja obravnavati predvsem skozi varstvo podatkov, informacijsko varnost in skladnost z zakonodajo. Splošna uredba o varstvu podatkov (GDPR) je vzpostavila razmeroma razvito prakso ocenjevanja tveganj za posameznike. Na drugih področjih temeljnih pravic primerljivo sistematični pristopi pogosto še niso uveljavljeni.
Toda skladnost z GDPR še ne pomeni, da je uporaba tehnologije pravična, sorazmerna ali družbeno sprejemljiva.
Sistem, ki zakonito obdeluje osebne podatke, lahko neupravičeno omejuje možnosti posameznika za zaposlitev. Algoritem, ki ne razkriva zasebnih informacij, lahko otroka zaradi napačne ocene njegovih sposobnosti usmeri v neustrezen izobraževalni program. Odločitvena podpora pri dodeljevanju socialnih pravic lahko formalno spoštuje pravila varstva podatkov, a kljub temu povzroča nesorazmerne posledice za ranljive skupine.
Temeljne pravice niso zgolj vprašanje podatkov, ki jih sistem obdeluje. So tudi vprašanje odločitev, ki jih omogoča, in posledic, ki jih ustvarja.
Kaj je FRIA in zakaj jo uvaja Akt o umetni inteligenci?
Evropski Akt o umetni inteligenci, Uredba (EU) 2024/1689, v 27. členu uvaja oceno učinka na temeljne pravice za visokotvegane sisteme UI, poznano pod angleško kratico FRIA (Fundamental Rights Impact Assessment).
Gre za instrument, s katerim mora določena organizacija pred uvedbo visokotveganega sistema UI oceniti, kako bi njegova uporaba lahko vplivala na temeljne pravice ljudi.
Pomembno je razlikovanje med obveznostmi ponudnikov in uvajalcev sistemov UI.
Ponudniki, ki sisteme razvijajo oziroma dajejo na trg pod svojim imenom ali znamko, morajo v skladu z 9. členom Akta o UI vzpostaviti sistem upravljanja tveganj. Ta med drugim vključuje prepoznavanje in analizo znanih ter razumno predvidljivih tveganj za zdravje, varnost in temeljne pravice skozi življenjski cikel sistema.
Uvajalci pa sisteme uporabljajo v konkretnem organizacijskem in družbenem okolju. Prav temu je namenjena FRIA iz 27. člena. Uvajalec mora presoditi vplive uporabe sistema v okoliščinah, v katerih bo ta dejansko deloval.
Razlikovanje je bistveno. Isti sistem ima lahko pri različnih uporabnikih zelo različne posledice. Tehnologija za razvrščanje dokumentov lahko v enem primeru zgolj izboljša administrativno učinkovitost, v drugem pa pomembno vpliva na obravnavo vlog, od katerih so odvisne pravice posameznikov.
Obveznost FRIA ni splošna obveznost vseh uporabnikov umetne inteligence. Nanaša se na določene uvajalce visokotveganih sistemov iz Priloge III Akta o UI, z izjemo sistemov s področja kritične infrastrukture iz točke 2. Med zavezanci so zlasti osebe javnega prava, zasebni subjekti, ki zagotavljajo javne storitve, ter uvajalci določenih sistemov za ocenjevanje kreditne sposobnosti in tveganj pri življenjskem oziroma zdravstvenem zavarovanju.
Člen 27 določa šest vsebinskih elementov ocene. Organizacija mora opisati postopke, v katerih bo sistem uporabljen, predvideno obdobje in pogostost uporabe, skupine ljudi, na katere lahko vpliva, konkretna tveganja škode, način izvajanja človeškega nadzora ter ukrepe ob uresničitvi tveganj, vključno z notranjim upravljanjem in pritožbenimi mehanizmi.
Ocena se izvede pred prvo uporabo, ob pomembnih spremembah pa jo je treba ustrezno posodobiti. Uvajalec mora o rezultatih obvestiti pristojni organ za nadzor trga s predložitvijo predpisane predloge, razen v primerih, za katere uredba omogoča izjemo.
FRIA se lahko opre na že opravljene presoje, zlasti na oceno učinka v zvezi z varstvom osebnih podatkov (DPIA). Sprememba 27. člena, sprejeta julija 2026 v sklopu Digitalnega omnibusa za UI, izrecno omogoča navzkrižno sklicevanje na relevantne dele DPIA oziroma njihovo vključitev v FRIA. S tem se zmanjšuje nepotrebno podvajanje dokumentacije.
Vendar je razlika med instrumentoma vsebinska. DPIA se osredotoča na tveganja za pravice in svoboščine posameznikov, ki izhajajo iz obdelave osebnih podatkov. FRIA pa mora upoštevati širši spekter vplivov na temeljne pravice, povezanih s konkretno uporabo sistema UI.
Z drugimi besedami: FRIA nas sili, da poleg vprašanja, ali smemo določene podatke obdelovati, razmislimo tudi o tem, kaj smemo na njihovi podlagi sklepati in kako lahko te ugotovitve uporabimo pri odločanju o ljudeh.
Človek v zanki še ni jamstvo za človekove pravice
Druga pomembna ugotovitev poročila FRA zadeva človeški nadzor.
Intervjuvanci ga pogosto navajajo kot osrednji ukrep za zmanjševanje tveganj. Predpostavka je na prvi pogled razumna: če končno odločitev sprejme človek, naj bi bila nevarnost napačnega ali nepravičnega avtomatiziranega odločanja manjša.
Toda takšno razmišljanje spregleda pomembno psihološko in organizacijsko razsežnost.
Ljudje smo nagnjeni k temu, da priporočilom tehnoloških sistemov pripisujemo določeno stopnjo objektivnosti in zanesljivosti. Pojav, poznan kot avtomatizacijska pristranskost (automation bias), lahko povzroči, da uporabnik priporočilo sistema sprejme tudi takrat, ko bi moral podvomiti o njegovi pravilnosti.
Predstavljajmo si uslužbenca, ki vsak dan obravnava veliko število vlog. Sistem UI mu pri vsaki predlaga odločitev in poda oceno tveganja. Uslužbenec ima formalno možnost priporočilo zavrniti. Toda ali ima za to dovolj časa, ustrezno znanje in informacije? Ali institucija dopušča odstopanje od priporočil sistema ali takšna odstopanja obravnava kot zmanjšanje učinkovitosti?
Odgovori na ta vprašanja povedo o kakovosti človeškega nadzora bistveno več kot podatek, da je v procesu predviden človek.
Človeški nadzor zato ni zgolj tehnična funkcionalnost, ki jo lahko vključimo v zasnovo sistema. Je organizacijska ureditev, ki mora človeku omogočati razumevanje, neodvisno presojo in dejansko posredovanje.
Prav na to opozarja FRA: človeški nadzor sam po sebi ne more odpraviti vseh tveganj za temeljne pravice. Njegova učinkovitost je odvisna od zasnove sistema, usposobljenosti uporabnikov, organizacije dela in drugih zaščitnih ukrepov.
O pomenu človeškega nadzora sem na tem blogu že pisala v prispevku Umetna inteligenca pod nadzorom človeka: ključ do zaupanja. FRIA temu vprašanju dodaja novo razsežnost: ne zahteva zgolj odgovora, ali je človek vključen v odločanje, temveč tudi, kako je ta vključitev organizirana in ali dejansko zmanjšuje tveganja.
Pri tem je treba razlikovati med formalno pristojnostjo za odločanje in dejanskim vplivom na odločitev.
Človek, ki lahko priporočilo algoritma zgolj potrdi, ni nujno tudi človek, ki odločitev resnično obvladuje.
Kako presojati tveganja, ki jih ne znamo prepoznati?
Največji praktični izziv FRIA morda niti ni njena izvedba, temveč prepoznavanje pravic, ki bi lahko bile prizadete.
FRA ugotavlja, da organizacije pogosto nimajo potrebnega znanja in izkušenj za sistematično ocenjevanje tveganj. Ukrepi za njihovo zmanjševanje so razdrobljeni, dokazi o njihovi učinkovitosti pa omejeni.
To odpira vprašanje, kako abstraktne pravne zahteve prevesti v uporabno metodologijo.
Pri tem ne zadostuje splošno vprašanje, ali sistem spoštuje temeljne pravice. Organizacija mora razumeti, katere pravice so v konkretnem primeru relevantne, na kakšen način bi lahko bile prizadete in kakšni ukrepi lahko tveganja dejansko zmanjšajo.
Pri sistemu za podporo odločanju o socialnih prejemkih bi se morala presoja tako ukvarjati s pravico do socialne varnosti, enakim obravnavanjem in učinkovitim pravnim sredstvom. Preveriti bi morala, ali sistem določene prosilce obravnava manj ugodno, kako bi lahko napake vplivale na njihovo preživetje in kako lahko posameznik zahteva ponovno presojo.
Pomembna je tudi vključitev prizadetih skupin.
Pravni strokovnjak lahko opredeli relevantne pravice. Razvijalec lahko pojasni tehnične omejitve sistema. Uslužbenec lahko predstavi dejansko delovanje postopka. Toda posamezniki, na katere bo sistem vplival, pogosto najbolje razumejo ovire, ki jih drugi ne opazijo.
Zato FRA priporoča multidisciplinaren pristop, ki povezuje pravno, tehnično in družboslovno znanje ter vključuje predstavnike prizadetih skupin.
Takšno sodelovanje je več kot vprašanje metodološke kakovosti. Povezano je tudi z legitimnostjo odločanja. Če tehnologija posega v pravni položaj posameznika, bi morali biti njegovi interesi in izkušnje ustrezno upoštevani že pri načrtovanju njene uporabe, ne šele ob morebitni pritožbi.
Med poenostavljanjem pravil in učinkovitim varstvom pravic
V evropskem prostoru poteka intenzivna razprava o administrativnih obremenitvah, regulativni kompleksnosti in konkurenčnosti gospodarstva. Zahteve po poenostavitvi pravil so legitimne. Zlasti za manjše organizacije so lahko stroški skladnosti pomembna ovira pri uvajanju novih tehnologij.
S sprejetjem Digitalnega omnibusa za UI (Uredbe (EU) 2026/1744), ki je začela veljati 27. julija 2026, je Evropska unija prilagodila tudi časovnico izvajanja Akta o UI.
Zahteve za visokotvegane sisteme iz Priloge III se bodo po spremenjeni ureditvi začele uporabljati 2. decembra 2027, za visokotvegane sisteme, povezane z določenimi proizvodi iz Priloge I, pa 2. avgusta 2028. Časovnica je pomembna tudi za obveznosti FRIA, povezane s sistemi iz Priloge III.
Podaljšanje pripravljalnega obdobja lahko razumemo kot priložnost za razvoj boljših standardov, metodologij in podpornih orodij. Ne bi pa ga smeli razumeti kot razlog za odlaganje razmisleka o temeljnih pravicah.
Ob tem se odpira pomemben protiargument: ali lahko obsežne presoje vplivov postanejo zgolj dodatna administrativna ovira, ki zavira inovacije?
Vsekakor obstaja takšno tveganje. Če bodo organizacije FRIA izvajale predvsem z izpolnjevanjem standardiziranih vprašalnikov, brez resnične povezave z odločitvami o uporabi tehnologije, bomo ustvarili dodaten sloj dokumentacije, ne pa nujno tudi učinkovitejšega varstva pravic.
Toda odgovor ni v opuščanju presoj, temveč v njihovi kakovosti in sorazmernosti.
Dobra FRIA mora biti dovolj strukturirana, da zagotavlja dosledno prepoznavanje tveganj, in dovolj prilagodljiva, da upošteva posebnosti konkretnega primera. Omogočati mora uporabo že opravljenih ocen, preprečevati podvajanje dela in hkrati ohraniti pozornost na pravicah posameznika.
Predvsem pa mora vplivati na odločitve. Če presoja razkrije nesprejemljivo tveganje, mora organizacija razmisliti o spremembi zasnove postopka, dodatnih zaščitnih ukrepih ali celo o opustitvi predvidene uporabe sistema.
Regulativna zahteva ima smisel le, če lahko spremeni ravnanje tistega, na katerega se nanaša.
Kaj FRIA pomeni za Slovenijo?
Tudi v Sloveniji se UI vse bolj uveljavlja kot orodje za izboljševanje javnih storitev, upravnih postopkov in organizacijskega odločanja.
Slovenski Zakon o izvajanju Uredbe (EU) o določitvi harmoniziranih pravil o umetni inteligenci (ZIUDHPUI), ki velja od 21. novembra 2025, je vzpostavil nacionalni okvir pristojnih organov in nadzora za izvajanje Akta o UI.
Toda vzpostavitev pravnega okvira je šele prvi korak. Zahtevnejša naloga je razvoj institucionalnih zmogljivosti za njegovo izvajanje.
Za javne institucije bo zato pomembno, da že v fazi načrtovanja in naročanja sistemov UI razumejo njihove predvidene učinke. Pri tem ne gre zgolj za preverjanje tehničnih specifikacij in zakonitosti obdelave podatkov. Pomembno je tudi, ali bodo lahko institucije dobile informacije o delovanju sistema, preverjale njegovo uspešnost v konkretnih okoliščinah in učinkovito ukrepale ob nepravilnostih.
Posebno pozornost bo treba nameniti razmerju med odgovornostjo ponudnika in odgovornostjo uvajalca. Dejstvo, da je ponudnik opravil predpisano oceno skladnosti, samo po sebi še ne pomeni, da je konkretna uporaba sistema v javni instituciji ustrezno presojena.
Enako pomembna bo vloga neodvisnih nadzornih institucij. FRA opozarja na omejitve samoocenjevanja ter potrebo po ustrezno usposobljenih in financiranih organih za varstvo temeljnih pravic. Člen 77 Akta o UI tem organom pod določenimi pogoji omogoča dostop do dokumentacije o visokotveganih sistemih in sodelovanje z organi za nadzor trga.
Za Slovenijo je to priložnost za krepitev sodelovanja med tehnološkimi strokovnjaki, pravniki, organi javnega sektorja, nadzornimi institucijami in predstavniki civilne družbe.
Če želimo umetno inteligenco odgovorno vključevati v javne storitve, bomo morali znati odgovoriti ne le na vprašanje, ali tehnologija deluje, temveč tudi, kako njeno delovanje vpliva na ljudi in kdo je odgovoren za posledice.
Od pravne skladnosti do legitimnosti
FRIA je mogoče razumeti kot novo regulativno obveznost. Vendar bi bila takšna razlaga precej omejena.
Njena širša vrednost je v tem, da lahko spremeni način, kako organizacije razmišljajo o uvajanju umetne inteligence. Namesto da bi se osredotočale predvsem na tehnološko zmogljivost in organizacijsko učinkovitost, morajo upoštevati tudi položaj posameznika, njegove pravice in možnosti za njihovo učinkovito uveljavljanje.
S tem se približamo vprašanju legitimnosti.
Odločitev je lahko tehnično pravilna in formalno zakonita, pa vendar sproža upravičene pomisleke glede pravičnosti, preglednosti ali odgovornosti. Zaupanje v institucije ni odvisno zgolj od kakovosti njihovih rezultatov, temveč tudi od razumljivosti postopkov, možnosti izpodbijanja odločitev in jasnosti odgovornosti.
Prav zato je pomembno, da FRIA ne postane zgolj dokument, s katerim organizacija dokazuje regulatorno skladnost. Postati mora del procesa odločanja o tem, kdaj, kako in pod kakšnimi pogoji je uporaba umetne inteligence primerna.
To pomeni tudi pripravljenost na ugotovitev, da tehnološko izvedljiva rešitev ni nujno praktično smiselna, pravno dopustna ali etično sprejemljiva.
V razpravah o prihodnosti umetne inteligence pogosto poudarjamo potrebo po novi družbeni pogodbi. Toda takšna pogodba ne nastaja le na ravni velikih političnih deklaracij. Oblikuje se tudi skozi konkretna institucionalna pravila, ki določajo, kdo sme odločati, kako se odločitve preverjajo in kako se razporeja odgovornost za njihove posledice.
FRIA je lahko eden od instrumentov, s katerimi ta načela prevedemo v prakso.
Njena uspešnost zato ne bo odvisna predvsem od števila opravljenih presoj, temveč od vprašanja, ali bodo te presoje prispevale k boljšim odločitvam, učinkovitejšemu varstvu pravic in večji odgovornosti institucij.
Presoja vplivov na temeljne pravice ne bi smela biti predvsem dokaz, da je organizacija izpolnila svoje zakonske obveznosti. Biti bi morala dokaz, da je pred uvedbo umetne inteligence resno premislila o njenih posledicah za ljudi.
In da je pripravljena na podlagi te presoje tudi ravnati.
***
Viri
- European Union Agency for Fundamental Rights (FRA). (2025). Assessing High-risk Artificial Intelligence: Fundamental Rights Risks. Dunaj, 4. december 2025.
- Evropski parlament in Svet EU. (2024). Uredba (EU) 2024/1689 o določitvi harmoniziranih pravil o umetni inteligenci (Akt o umetni inteligenci), zlasti členi 6, 9, 14, 26, 27 in 77 ter Priloga III.
- Evropski parlament in Svet EU. (2026). Uredba (EU) 2026/1744 o spremembi uredb glede poenostavitve izvajanja harmoniziranih pravil o umetni inteligenci, 8. julij 2026.
- Evropska komisija. (2026). AI Omnibus enters into force, 27. julij 2026.
- Evropska komisija. AI Act Service Desk: Article 27 – Fundamental rights impact assessment for high-risk AI systems. Besedilo na podlagi konsolidirane uredbe z dne 27. julija 2026.
- Državni zbor Republike Slovenije. (2025). Zakon o izvajanju Uredbe (EU) o določitvi harmoniziranih pravil o umetni inteligenci (ZIUDHPUI). Uradni list RS, št. 85/2025.
- Pičman Štefančič, P. (2025). Umetna inteligenca pod nadzorom človeka: ključ do zaupanja. Umetnainteligenca.com, 1. junij 2025.