Singapur je izdal prvi celovit okvir za agentsko UI - Model AI Governance Framework for Agentic AI (MGF-AI)
Trend agentnih sistemov (agentic AI) se je v zadnjem letu iz »koncepta« hitro premaknil v pilotske projekte in produkcijske rabe. Singapurski regulator IMDA (Infocomm Media Development Authority) je 22. januarja 2026 objavil dokument »Model AI Governance Framework for Agentic AI (v1.0)« (v nadaljevanju MGF-AI) - praktičen okvir priporočil za razvoj in uvajanje sistemov, ki ne le generirajo odgovore na pozive, temveč lahko načrtujejo korake, izvajajo dejanja ter se povezujejo z drugimi sistemi. Pomembno: gre za okvir smernic (»soft law«), ne za zavezujoč predpis; njegova teža je predvsem v tem, da operacionalizira pričakovanja glede varnega uvajanja agentov.
Kaj je agentna UI in zakaj prinaša znatna tveganja
MGF-AI naslavlja agentne (agentic) sisteme
umetne inteligence: rešitve, ki zmorejo načrtovati korake, sklepati in izvajati
naloge z omejenim človeškim posredovanjem ter pogosto tudi samostojno
uporabljati orodja (npr. API-je), dostopati do podatkov in sodelovati z drugimi
agenti. V primerjavi s klasično generativno UI se tako težišče premakne z
vprašanja »kaj sistem pove« na vprašanje »kaj sistem stori« – v imenu
uporabnika ali organizacije, z dodeljenimi pravicami dostopa in znotraj
poslovnih procesov.
Takšni sistemi prinašajo specifična tveganja, med drugim:
- napačna ali neustrezna dejanja, tudi v obliki kaskadnih oziroma »verižnih« učinkov,
- nepooblaščena dejanja zaradi preširoko dodeljenih pravic ali neustrezno upravljanih dostopov,
- pristranskost pri odločanju, izbiri prioritet ali izvajanju nalog,
- kršitve zasebnosti in varstva osebnih podatkov,
- motnje in napake v povezanih informacijskih sistemih.
Okvir opozarja tudi na »pristranskost zaradi avtomatizacije« (automation bias): ker sistem »večinoma deluje«, se ljudje sčasoma nanj pretirano zanašajo in nadzor oslabijo – ravno v trenutkih, ko bi moral biti strožji, bolj strukturiran in podprt z jasno določenimi kontrolnimi točkami.
Štiri dimenzije MGF-AI: od načel k operativnemu upravljanju
Upravljanje agentne UI je zasnovano na štirih sklopih priporočil, ki jih je smiselno brati kot praktičen kontrolni seznam za organizacije:
1) Vnaprejšnja presoja in omejevanje tveganj (»risk-bounding«)
Osrednja ideja je, da agentom že v fazi zasnove postavimo jasne meje: kaj smejo storiti, s katerimi orodji, nad katerimi podatki, v kakšnem obsegu in pod kakšnimi pogoji. Cilj je, da so dovoljeni ukrepi vnaprej opredeljeni, posledice obvladljive, tveganja pa zamejena.
2) Smiselna odgovornost (»meaningful accountability«)
Okvir je pri odgovornosti jasen: končna odgovornost ostaja pri ljudeh in organizacijah. Zato poudarja jasno razmejitev vlog in odgovornosti skozi celoten življenjski cikel ter vzdolž vrednostne verige, vključno z dobavitelji in partnerji.
3) Tehnične kontrole in procesi pred, med in po uvedbi
MGF-AI se izrazito naslanja na operativne prakse: testiranje pred uvedbo, postopno uvajanje, nadzor po uvedbi ter observability (spremljanje, logiranje, zaznavanje odstopanj). Posebno mesto ima načelo najmanjšega privilegija (least privilege): agentu se dodeli najmanjši nabor pravic, ki je nujen za izvedbo naloge.
4) Odgovornost končnih uporabnikov (»end-user responsibility«)
Tudi najnaprednejši sistem je ranljiv, če se uporablja neustrezno. Okvir zato zahteva, da so uporabniki opremljeni z ustreznimi informacijami, usposabljanjem in jasnimi pravili: kdo potrjuje, kdo eskalira in kdo lahko sistem ustavi.
Smiseln človeški nadzor in varovala za zaustavitev: kaj to pomeni v praksi
V razpravah o agentih se pogosto omenja koncept »human-in-the-loop« (človek-v-zanki), vendar pri agentnih sistemih to kot slogan ni več zadostno. MGF-AI ga prevaja v konkretne mehanizme, na primer:
- kontrolne točke (checkpoints), kjer mora človek odobriti visoko tvegana ali nepovratna dejanja,
- jasne eskalacijske poti in vnaprej določene meje avtonomije,
- zahteve za neprekinjeno spremljanje delovanja tudi po uvedbi, ne le pred »go-live«.
V povezavi z idejo »varoval za zaustavitev« (termination safeguards) okvir ne uporablja nujno enake terminologije kot nekateri civilnodružbeni predlogi, vendar je logika primerljiva: kadar se nadzor izgubi ali nastopijo kritične okoliščine, morajo obstajati mehanizmi za zaustavitev oziroma prekinitev ter človeška odobritev za odločilne, visoko tvegane ukrepe.
Povezava s prejšnjim singapurskim delom o generativni UI
Singapur je že leta 2024 odprl javno posvetovanje o predlaganem okviru za generativno umetno inteligenco, ki ga je pripravljal skupaj z AI Verify Foundation. Agentni okvir iz leta 2026 je logično nadaljevanje tega razvoja: od vprašanj zanesljivosti, halucinacij in vsebine k vprašanju avtonomnih dejanj, pravic dostopa, sledljivosti ter varnega povezovanja s sistemi.
Zakaj je to relevantno tudi za Evropo in za delovanje organizacije v praksi
Čeprav MGF-AI ni zakonodajni akt, je pomemben signal premika od splošnih načel k operativnemu upravljanju agentnih sistemov. Ključna sporočila so naslednja:
- agent potrebuje identiteto, pravice, omejitve in sledljivost (traceability),
- uvedba brez monitoringa, logiranja in eskalacijskih mehanizmov ustvarja »tiho« sistemsko tveganje,
- »človeški nadzor« ni administrativna kljukica, temveč arhitektura kontrolnih točk, odgovornosti in odločanja.
Za organizacije, ki agente že pilotno uvajajo (npr. v podpori strankam, IT-operacijah, financah ali nabavi), je okvir pomemben opomnik: agenti niso zgolj »naprednejši klepetalniki«, temveč operativni sistemi z dostopom do dejanj – zato jih je treba upravljati z enako resnostjo kot druge kritične digitalne komponente.
