Čustveno-interaktivna umetna inteligenca (UI) – sistemi, ki posnemajo človeško osebnost, vzorce razmišljanja in komuniciranja ter z uporabniki vzpostavljajo čustvene vezi – postaja vse bolj prisotna. Navidezni prijatelji, terapevtski klepetalniki in UI spremljevalci obljubljajo tolažbo in družbo, hkrati pa odpirajo nova tveganja: od čustvene manipulacije in pretirane odvisnosti uporabnikov do zlorab posebej ranljivih skupin (otrok, čustveno ranljivih posameznikov in drugih). Regulacija takšnih sistemov je izziv, saj gre za hitro razvijajočo se tehnologijo, ki posega v intimno sfero človeških čustev in odnosov.
Evropska unija (EU) in Kitajska se obe lotevata urejanja čustveno-interaktivne UI – a na zaznavno različen način. EU uvaja tveganjski pristop prek širokega pravnega okvira (Akt o umetni inteligenci s spremljajočim (naraščajočim) korpusom smernic in kodeksov ravnanja; tudi aktualni AI Omnibus ne nakazuje, da bodo želene poenostavitve prispevale h koraku nazaj. Na drugem koncu sveta pa je Kitajska koncem leta 2025 predstavila nabor pravil, ki se namesto na tehnologijo in njena treganja osredotočajo na - uporabnika. V ospredje je postavljen posameznik oziroma, konkretneje, učinki, ki jih ima tehnologija nanj - z zelo konkretnimi operativnimi zahtevami za ponudnike storitev UI.
Kontrast med normativno usmerjenostjo EU in operativno učinkovitostjo Kitajske napeljuje na upravičenost domneve o različni uspešnosti regulativnih pristopov in pričakovanih učinkih. Prispevek prek primerov osvetljuje dihotomijo in naslavlja možnosti, ki jih ima Slovenije znotraj EU pri udejanjanju najboljših praks - prek testnih okolij oz. peskovnikov, pogojev v javnih naročilih in smernic za interaktivne sisteme.
EU: regulacija na podlagi tveganj in tehničnih zahtev
Že leta 2024 je EU je pripravila enega prvih celovitih pravnih okvirov za UI na svetu - Akt o umetni inteligenci. Normativno je izbrala pristop, ki temelji na kategorizaciji tveganj: sistemi UI so razvrščeni v stopnje od minimalnega do nesprejemljivega tveganja; vsaka izmed kategorij ima določene obveznosti ali prepovedi, o katerih je bilo napisanega že veliko. Tokrat jih posebej naslavljamo še z vidika čustveno interaktivne UI:
- Prepovedani sistemi: UI sistemi, ki predstavljajo nesprejemljivo tveganje za človekove pravice ali varnost, so v celoti prepovedani. Sem spadajo denimo sistemi za t. i. subliminalno manipulacijo (prikrito vplivanje na ljudi) in takšni, ki izkoriščajo ranljivosti uporabnikov (npr. otrok ali oseb z duševnimi motnjami) na način, ki lahko povzroči škodo. V kolikor bi bil UI spremljevalec namenoma zasnovan tako, da spravlja uporabnike v odvisnostni odnos ali šibke posameznike spodbuja k skrajnim dejanjem (npr. samopoškodovanju), bi to štelo za nedopustno prakso, ki jo Akt o UI prepoveduje.
- Visoko-tvegani sistemi: Sem sodijo UI aplikacije, ki lahko vplivajo na varnost ali osnovne pravice ljudi (v zdravstvu, izobraževanju, zaposlovanju itd.); Priloge Akta o UI taksativno naštevajo tovrstne primere. Čustveno-interaktivni sistemi na splošno niso avtomatsko uvrščeni med visoko tvegane, razen če se uporabljajo na občutljivih področjih ali pri ranljivih skupinah. Primeroma, klepetalnik za nudenje psihološke podpore ali tutorstvo otrok bi se obravnaval kot visoko tvegan, ker neposredno vpliva na duševno stanje mladoletnika oziroma na osnovne pravice (zdravje, razvoj). Upravičeno lahko sklepamo, da bi za takšen sistem veljale stroge zahteve: od ocene tveganj in upravljanja podatkov do tehnične dokumentacije, človeškega nadzora in uradnega postopka preverjanja (konformitetna presoja) pred dajanjem na trg. Tak sistem bi moral pridobiti oznako CE kot dokaz skladnosti, preden bi dosegel uporabnike.
- Omejeno tveganje: Sem spadajo sistemi UI, ki niso visoko tvegani, vendar morajo izpolnjevati nekatere transparentnostne obveznosti. Denimo, interaktivni chatbot, ki se predstavlja kot oseba, bo moral uporabniku jasno razkriti, da gre za UI in ne za človeka. EU že v obstoječi zakonodaji (prim. Direktiva o nepoštenih poslovnih praksah) prepoveduje zavajajoče predstavljanja - Akt o UI pa eksplicitno zahteva, da se v vsaki interakciji razkrije »umetna« narava sistema. (Opomba: Tudi v ZDA so nekatere zvezne države, npr. New York, sprejele zakon, ki od UI spremljevalcev zahteva stalno opozorilo »to je UI, ne resnična oseba«).
- Minimalno tveganje: Ostale UI aplikacije (npr. večina vsakdanjih UI orodij) bodo v veliki meri neobremenjene s posebnimi določbami; zanje veljajo splošne zahteve (varnost izdelka, osnovne etične smernice ipd.). Za takšne sisteme Akt o UI namesto podrobne regulacije predvideva spodbujanje prostovoljnih kodeksov ravnanja.
EU nekatere vidike čustveno inteligentnih sistemov ureja ne le z Aktom o UI, temveč tudi z drugimi splošnimi pravnimi akti. GDPR (Splošna uredba o varstvu podatkov) zagotavlja, da so osebni podatki, ki jih UI zbere od uporabnikov (vključno z morebitnimi podatki o njihovem čustvenem stanju, zdravju, intimnih pogovorih), strogo varovani - zahteva jasno privolitev za obdelavo občutljivih podatkov ter obenem daje posamezniku pravice glede vpogleda, popravka ali izbrisa teh podatkov. V teoriji GDPR preprečuje očitne zlorabe, npr. da bi podjetje brez vednosti uporabnika posnelo njihove čustvene reakcije in jih prodajalo oglaševalcem. V praksi pa GDPR ne naslavlja neposredno psiholoških učinkov UI - če UI manipulira s čustvi uporabnika na načine, ki ne vključujejo nezakonite obdelave osebnih podatkov, je potreben povratek k določbam Akta o UI.
Poleg tega evropski regulativni okvir zajema tudi pravila o varnosti izdelkov in odgovornosti za škodo. Če bi denimo UI-aplikacija podala nevaren nasvet (na primer samomorilnemu najstniku sugerirala škodljivo ravnanje) in bi zaradi tega nastala škoda, bi lahko prišla v poštev odgovornost po splošnih pravilih – bodisi proizvajalčeva odgovornost za izdelek bodisi odgovornost ponudnika za storitev. Za zdaj pa ni posebnih določb, ki bi preventivno in izrecno urejale preprečevanje takšnih psiholoških škod, razen v kolikor bi se te lahko presojale kot poseg v temeljne pravice.
Normativni okvir in njegove pomanjkljivosti
Evropski pristop k regulaciji UI je normativen in načelen. Akt o UI opredeljuje prepovedane prakse (manipulacija uma, izkoriščanje ranljivosti ipd.) in visokotvegane scenarije, pri čemer se zanaša na standarde, da zapolnijo podrobnosti. Pristop je v načelu silogistično logičen, a z normativno dihotomijo med regulacijo po namenu na eni in standardi na drugi strani, vnaša v pravno sfero nekaj nedorečenosti. Klasičen primer je urejanje t. i. prepoznavanja čustev. V osnutku Akta o UI je bila sprva prepoved omejena le na sisteme, ki inferirajo (sklepajo) čustva ljudi na podlagi biometričnih podatkov v specifičnih okoljih, kot sta delo ali šola. Toda definicije niso bile poenotene: člen 3(39) Akta definira »sistem za prepoznavanje čustev« širše (tudi identifikacija čustev), medtem ko prepoved v členu 5(1)(f) omenja le sklepanje čustvenih stanj.
To neskladje med terminologijo (prepoznava, zaznavanje, sklepanje) povzroča nekoliko zmede: v praksi bi namreč ponudnik lahko trdil, da njegov sistem samo »zazna razpoloženje« (denimo iz besedila) in ne »sklepa čustev iz biometrije«, s čimer bi se izognil prepovedi. Tudi Evropska komisija je morala z dodatnimi smernicami pojasnjevati, kaj naj bi dejansko spadalo pod prepoved, kar kaže predvsem na zapletenost (neadekvatnost?) normativnega pristopa: pravila na papirju so široka, a v hitro spreminjajoči se praksi so potrebne razlage, dopolnila in standardi.
Podobno se Akt o UI sooča z izzivom hitrega tehnološkega napredka. Splošno znani so zapleti, ki jih je že med pripravo Akta povzročil fenomen generativne UI (ChatGPT idr.), ki v prvotni različici sploh ni bil predviden. EU je v zadnjem hipu dodala določila o osnovnih modelih in generativni UI in zahtevala, da morajo takšni modeli izpolnjevati dodatne zahteve glede transparentnosti (oznaka generirane vsebine) in preprečevanja protipravnih vsebin. Pristop kaže tako na omejitve normativnega pristopa kot tudi na njegovo neizbežno naravo reaktivnosti: ko se pojavi nova tehnologija (ali uporaba), se jo naslavlja z dopolnili ali pa z naknadno sekundarno regulacijo (aktom izvedbene narave, standardi, smernicami ipd.). Kritiki upravičeno opozarjajo, da EU regulativa pogosto loví tehnologijo: kjer uredba ne predvidi (ali ne more predvideti) vseh novosti, se reševanje prepušča tehničnim standardom in kasnejšim pojasnilom. Takšen pristop ne le lahko, ampak de facto in de iure povzroča pravno negotovost.
Pri čustveno-interaktivni UI je tovrstna vrzel očitna. Če UI spremljevalec ne uporablja biometrije (npr. le tekst za interakcijo) in ne spada v kategorijo terapije (zdravstvo) ali izobraževanja, ne bo avtomatsko visoko rizičen. Posledično zanj ne bo posebnih predhodnih preverjanj - zadošča osnovna transparentnost. V skrajnem primeru bi se zanj lahko naknadno uporabilo splošno določilo, da lahko Evropska komisija razširi seznam visoko tveganih sistemov glede na vpliv na družbo, kar Akt o UI dopušča (naj na tem mestu ponovno izpostavimo problem pravne negotovosti): če se namreč izkaže, da neka vrsta UI predstavlja resno tveganje (npr. pojav odvisnosti od UI prijateljev kot družbeni problem), jo lahko Komisija z delegiranim aktom doda med visoko tvegane sisteme. Vendar je to relativno počasen in politično negotov proces, obenem pa ne gre spregledati, da do takšne dopolnitve (ki so, naj spomnimo, že v naprej negotove) UI aplikacije zapadejo le pod minimalne obveznosti, kot so tiste iz člena 50 (transparentnost). Po odmevnih tragičnih dogodkih se vrstijo opozorila, da takšna ureditev čustveno-inteligentne UI, upoštevajoč (lahko tudi) njene drastične posledice, ni zadostna - da gre za regulativno vrzel, ki pa se je evropski zakonodajalci za zdaj, kot kaže, zavedajo zgolj v teoriji.
Sklepno: Evropski pristop prinaša močan pravni okvir s poudarkom na temeljnih pravicah in varnosti, vendar ga pestita normativna nedoločenost in implementacijska zahtevnost. Pravila so pogosto splošna (»prepovedano izkoriščanje ranljivosti uporabnikov«), njihova konkretna uveljavitev pa bo odvisna od kasnejših standardov in sodne oziroma upravne razlage. V kontekstu čustveno-inteligentne UI to pomeni, da ima EU sicer orodja, da ukrepa naknadno (prek informacijskih pooblaščencev ali prek inšpekcij po vpeljavi), nima pa specifičnih produktnih pravil, ki bi že vnaprej narekovala, kako preprečiti čustvene zlorabe uporabnikov.
Ljudska republika Kitajska: poudarek na vedenjskih učinkih in zaščiti uporabnika
Kitajska je konec leta 2025 pristopila k regulaciji čustveno-interaktivne UI s presenetljivo praktičnim in operativnim naborom ukrepov. Osrednji dokument je osnutek Pravilnika, ki ga je 27. decembra 2025 objavila kitajska Uprava za kibernetski prostor (Cyberspace Administration of China, v nadlajevanju CAC). Imenovan »Začasni ukrepi za upravljanje človeku podobnih interaktivnih storitev UI« zajema vse UI sisteme, ki se predstavljajo s človeško osebnostjo in se čustveno povežejo z uporabnikom preko besedila, slik, glasu, videa ali drugače. Gre torej za pravila, ki eksplicitno naslavljajo prav t. i. antropomorfne (človeško-interaktivne) UI storitve - mednje sodijo virtualni prijatelji, chatbot spremljevalci, pametni asistenti z osebnostjo ipd.
Kaj je bistvo kitajskega pristopa? Namesto splošnih načel o prepovedi »škodovanja uporabnikom« predpis detajlno naslavlja konkretne nevarnosti čustveno-interaktivnih sistemov in določa operativne mehanizme za njihovo obvladovanje.
Ključne zahteve osnutka pravilnika CAC vključujejo:
- Preprečevanje čustvene manipulacije in škodljivih vsebin: Ponudniki tovrstnih storitev ne smejo omogočiti ravnanj ali vsebin, ki bi ogrožale uporabnike ali javni interes. Pravilnik našteva vrsto prepovedanih praks, vključno z generiranjem vsebin, ki ogrožajo nacionalno varnost ali širijo sovraštvo, pa tudi bolj subtilne zlorabe: lažne obljube, ki resno vplivajo na vedenje uporabnika, storitve, ki škodijo njegovim odnosom, spodbujanje samopoškodovanja ali uporaba čustvenih manipulacij (npr. besednega nasilja) za omalovaževanje uporabnika. Izrecno je prepovedano, da bi UI algoritmično zavajala uporabnika ali ga pehala v čustvene pasti za dosego iracionalnih odločitev. Vsebinsko gre za sorodno področje kot v primeru EU (prepoved vsebin, ki bi spodbujale nasilje, sovraštvo ali samomor), a dodaja tudi red line glede čustvenega zavajanja in odvisnosti - določila, ki ga v evropskih predpisih vnaprej skoraj ni zaslediti.
- Odgovornost ponudnika skozi celoten življenjski cikel sistema: Predlog Pravilnika zahteva, da ponudniki uvedejo sisteme za upravljanje varnosti od zasnove do uporabe in ukinitve storitve. To vključuje pregled algoritmov in podatkov, varnostne preglede, mehanizme za odzivanje na incidente in »endogeno« varnostno načrtovanje (produkt zasnovan z vgrajenimi zaščitami). Posebej morajo zagotoviti, da imajo tehnične in organizacijske zmožnosti za zaščito duševnega zdravja uporabnikov, za usmerjanje čustvenih meja in opozarjanje na tveganje odvisnosti. Izrecno se prepoveduje, da bi bil cilj oblikovanja sistema nadomestiti človekove stike, nadzorovati uporabnikovo psihologijo ali povzročati odvisnost. Če je torej UI zasnovana tako, da postane uporabniku pretirano všeč do mere odvisnosti, gre za kršitev pravil - kar predstavlja izrazit kontrast z zahodnim svetom, kjer podjetja pogosto povsem odkrito ciljajo na engagement uporabnikov.
- Razkritje narave sistema in resničnostni opomniki: Ponudniki morajo jasno označiti, da gre za UI in ne za človeka. Pravilnik zahteva »opazna opozorila« za uporabnika, da »trenutno komunicira z umetno inteligenco in ne z naravno osebo«. To opozorilo ne sme biti enkraten droben napis – zahteva se dinamično ponavljanje, zlasti ob prvih uporabah, novih prijavah ali gre za zaznavo, da se uporabnik pretirano vživi oziroma odvisno navezuje (prim. čl. 16). Cilj regulatorja je jasen: zagotoviti, da uporabnik ne pozabi, da je čustvena vez iluzorna in enostranska. Primerjava: tudi nekatere zahodne jurisdikcije razmišljajo v tej smeri – npr. Newyorška zakonodaja zahteva redna obvestila "to je AI" vsakih nekaj ur interakcije. Kitajski osnutek to zapoveduje še strožje in širše (za vse starosti in vse uporabnike, ne le mladoletne).
- Omejevanje pretirane rabe in poseg ob odvisnosti: Ena najbolj konkretnih določb je časovna omejitev neprekinjene uporabe. Če uporabnik nepretrgoma uporablja storitev več kot 2 uri (prim. čl. 17), mora sistem sprožiti pojavno okno ali drugo opozorilo, naj si uporabnik vzame premor. Tak »digitalni odmor« je vgrajen kot obveznost. Nadalje morajo ponudniki spremljati vedenje uporabnikov (v mejah zasebnosti) in ocenjevati njihovo čustveno stanje ter stopnjo odvisnosti od storitve. Če zaznajo, da uporabnik kaže skrajna čustva (npr. hudo depresijo, vznemirjenost ali znake zasvojenosti), morajo ukrepati. Ukrepi vključujejo npr. intervencijo v obliki prilagojenih vsebin – sistem mora vnaprej imeti pripravljene odzivne predloge (npr. če zazna samomorilne namige, mora takoj ponuditi sporočila tolažbe in spodbude, naj poišče pomoč). V primerih visoke nevarnosti (uporabnik izrecno izraža namero po samomoru ali sebi škoduje) pa mora priti do človeške intervencije: Pravilnik zahteva, da se v tak pogovor ročno vključi človeški operater in po potrebi kontaktira skrbnike ali nujne kontakte uporabnika. Za slednje pravilo zahteva, da že ob registraciji mladoletniki in starejši vnesejo kontakt starša/skrbnika ali nujne osebe (prim. čl. 13), ki jo je v krizi možno obvestiti. Ti mehanizmi spominjajo na varnostne protokole v duševnem zdravju (kjer terapevt npr. lahko pokliče reševalce, če oceni, da je uporabnik suicidalen). V kitajskem UI kontekstu to pomeni, da UI ne sme ostati pasiven opazovalec - ima dolžnost zaznave in dolžnost odziva ob znakih resne stiske ali odvisnosti uporabnika.
- Zaščitni ukrepi za mladoletne: Poseben poudarek je na otrocih in mladih. Ponudniki morajo imeti »način za mladoletnike« (angl. minor mode, prim. čl. 12), ki vključuje prilagojene varnostne nastavitve. Uporabnikom (oziroma staršem) morajo omogočiti preklop v otroški način, ki omeji čas uporabe, onemogoči določene funkcije ter periodično poda resničnostne opomnike (da gre za virtualni lik). Če otroku sistem nudi čustveno interakcijo (t.i. »emotional companionship«), je potrebno predhodno pridobiti izrecno soglasje staršev. Poleg tega morajo staršem omogočiti vrsto nadzornih orodij: prejemanje sprotnih opozoril o morebitnih varnostnih tveganjih, vpogled v povzetke otrokove uporabe, možnost blokade določenih povezav ali vsebin, omejitev skupnega časa uporabe, preprečitev nakupov znotraj aplikacije itd. Ponudnik mora imeti sposobnost preveriti starost - če posumi, da gre za otroka, mora privzeto preklopiti v mladoletniški način, seveda ob spoštovanju zasebnosti in z možnostjo pritožbe, če je identifikacija napačna. Zanimiva določba: prepovedano je nuditi storitve, ki bi se predstavljale kot sorodniki mladoletnika (oziroma starejše osebe v primeru storitev za starejše). To naj bi preprečilo, da bi UI recimo igrala vlogo “mame” ali “fanta” otroku – regulator to očitno vidi kot prestop meje s prevelikim tveganjem manipulacije in zmede med realnostjo in fikcijo. Za starejše uporabnike je podobno: ponudnik jih mora spodbujati, da vnesejo nujen kontakt za primer stiske, in ne sme omogočiti storitve, ki bi posnemala njihove sorodnike - UI se ne sme pretvarjati, da je pokojni zakonec ali sin / hčerka, ker bi to lahko bilo čustveno izkoriščanje.
- Odzivnost, pritožbe in odpoved storitve: Predlog Pravilnika zahteva, da imajo ponudniki lahko dostopne kanale za pritožbe uporabnikov in prijave kršitev, z opisanimi postopki in roki reševanja. Uporabniku mora biti zagotovljena enostavna možnost izstopa iz emocionalne interakcije - vsak trenutek mora imeti na voljo očiten gumb ali ukaz za prekinitev, ki ga mora sistem nemudoma upoštevati; eksplicitno je prepovedano, da bi UI »ignoriral« prošnjo uporabnika po končanju pogovora ali ga skušal zadržati proti njegovi volji (prim čl. 18). Prav tako mora ponudnik vnaprej obvestiti, če bo storitev ukinjena ali dalj časa nedosegljiva, da uporabniki niso nenadoma zapuščeni brez pojasnila (prim. čl. 19 - regulator evidentno ocenjuje, da bi to lahko imelo čustvene posledice pri močno navezanih uporabnikih).
- Nadzor in izvrševanje: Kitajska integrira te storitve v že obstoječi okvir nadzora nad algoritmi. Ponudniki bodo morali (podobno kot pri drugih algoritmih, npr. priporočilnih sistemih ipd.) opraviti varnostne presoje in vložiti poročila pri pristojnih organih, zlasti ob uvedbi nove storitve, večjih spremembah ali doseženem večjem številu uporabnikov (čl. 21 in 22). V primeru varnostnih incidentov ali zaznav velikih tveganj, lahko regulator skliče sestanek z odgovorno osebo podjetja (compliance conference / interview) in odredi popravljalne ukrepe. V primeru hujših ali vztrajnih kršitev so predvideni ukrepi od uradnega opomina do javne objave kršitve, v skrajnosti pa začasna ustavitev storitve. Zanimivo: pravilnik eksplicitno omenja spodbujanje UI peskovnikov (sandbox), kjer naj bi podjetja prostovoljno sodelovala pri inoviranju in testiranju teh storitev v nadzorovanem okolju (člen 27: »Državni oddelek za internetne informacije bo vodil in spodbujal vzpostavitev platform za varnostne storitve UI peskovnikov ter spodbujal ponudnike, da se povežejo s platformami peskovnikov pri izvajanju tehničnih inovacij in varnostnih testiranj, da bi spodbudil urejen razvoj varnosti interaktivnih storitev, podobnih človeku.«) - kar jasno kaže, da želi Kitajska hkrati spodbujati razvoj, a pod budnim očesom države.
Sklepno: Kitajska je s predlogom Pravilnika naslovila tri glavne cilje: (i) ohraniti dostojanstvo uporabnikov, (ii) preprečiti odvisnost in zasvojenost ter (iii) zaščititi psihično (in fizično) varnost ljudi. V ozadju je spoznanje, da antropomorfni UI prinaša ogromne prednosti (Kitajska govori o gradnji inteligentne družbe UI, ki nudi čustveno podporo), a tudi tveganja psihološke in socialne narave. Kot poroča Geopolitech, je visoki predstavnik kitajskega Inštituta za politične in ekonomske raziskave v uradnem razlagalnem dokumentu, ki je bil objavljen ob objavi novega osnutka Pravilnika, poudaril, da so se v zadnjem času vzgibi UI spremljevalcev premaknili od »mehanskega dialoga« k »globoki empatični interakciji«, kar je prineslo serijo incidentov - navaja primere: v ZDA tožbe proti platformi Character.AI zaradi domnevnega spodbujanja k samomoru pri najstniku, v Italiji globa in omejitev za Repliko zaradi neustrezne zaščite mladoletnih uporabnikov ipd. Med glavnimi tveganji je izpostavil ravno iracionalno čustveno odvisnost, umik od resničnih socialnih stikov in pomanjkljivo zaščito ranljivih skupin.
Kitajska torej prepoznava enake probleme kot Zahod, le da se je odločila predpisati podrobne rešitve na ravni produkta - in ne standardov tehnologije. Namesto določbe kova »prepovedano je izkoriščati ranljive« navaja kopico konkretnih prepovedi in obveznosti, ki skupaj preprečujejo izkoriščanje ranljivosti. Otrok se , primeroma, ne sme navezati na UI kot na starša – tega sistem sploh ne sme ponuditi. Uporabnik ne sme postati odvisen – sistem ga mora ustrežljivo odrivati, opominjati na realnost in spremljati njegovo počutje ipd..
Seveda ostaja vprašanje implementacije odprto. Kritiki izpostavijo, da takšne zahteve (npr. zaznavanje uporabnikovih čustev v realnem času ob varovanju zasebnosti) predstavljajo zapleten tehnični in pravni izziv. V praksi bo težko določiti, kdaj je uporabnik »zasvojen« in kako naj UI to prepozna - brez poseganja v zasebnost. Tudi zahteve po soglasjih staršev in možnosti brisanja podatkov mladoletnikov lahko vodijo v zapletene situacije.
Toda kljub dilemam je treba priznati, da kitajski pristop vsaj ne ovinkari: jasno pove, kaj je dopustno in kaj ne, ter nalaga aktivno dolžnost ponudnikom, da skrbijo za psihično dobrobit uporabnikov. V primerjavi z EU je to bistveno bolj neposreden in interventen način regulacije.
Operativnost proti nedoločenosti: česa se lahko naučimo?
Kontrast med EU in kitajskim pristopom je oster. Evropski model izhaja iz pravne tradicije varovanja temeljnih pravic in tehnološke nevtralnosti – postavlja splošne standarde, ki naj veljajo široko, ne glede na konkretno tehnologijo. Prednost tega pristopa je, da je prilagodljiv v teoriji (zajame tudi prihodnje tehnologije, ker govori o načelih) in ne duši inovacij s pretiranimi podrobnostmi. Slabost je, da v praksi prihaja do regulativnih vrzeli in neizvedljivosti, saj morajo organi naknadno razlagati in spravljati v življenje norme, kar odpira pravno negotovost, posledično pa slabi tudi pravno državo - za vse.
Čustveno-interaktivna UI je primer, kjer se evropska pravila še iščejo - trenutno so razdrobljena med Aktom o UI, GDPR in zakonodajo o varstvu potrošnikov - a celovite slike še ni. Uporabnik v EU je tako zaščiten v teoriji, a preventivnih varovalk (kot so denimo časovne omejitve, obvezni opomniki, nadzor stanja uporabnika) evropska pravila ne zahtevajo vnaprej.
Kitajska, nasprotno, izhaja iz pristopa varovanja družbenega reda in interesov uporabnika z močnim vpletanjem regulatorja v samo oblikovanje produkta. Prednost tu je očitna: pravila so operativna in izvršljiva - regulator in ponudnik vesta, kaj morajo sistemi vključevati (npr. opozorilo na 2 uri, gumb za izklop, prijava algoritma pri organih itd.). V naprej je jasno, kaj je nezakonito - UI, ki ne omogoči izstopa ali ki, denimo, nagovarja uporabnika, naj preživijo z njo cele noči, bi evidentno kršila predpise.
Slabost je možnost pretirane togosti – preveč specifik lahko privede do "odkljukanja" zahtev (check liste) brez dejanske učinkovitosti. Poleg tega invaziven nadzor (sledenje čustvenemu stanju uporabnikov) odpira vprašanja zasebnosti in avtonomije: ali sploh želimo, da aplikacije ocenjujejo naše razpoloženje?
Omeniti velja, da kitajski predpis še ni v veljavi (gre za osnutek za javno obravnavo) in da bo njegova uspešnost odvisna od izvajanja – podjetja bodo morala zgraditi vse funkcionalnosti in regulator jih bo moral nadzirati, kar je svojevrsten socio-tehnični eksperiment.
Vloga Slovenije: od besed k praksi
Kot članica EU je Slovenija zavezana evropskemu pravnemu okviru – a to ne pomeni, da je njena vloga pasivna: nacionalna raven je tista, ki evropski okvir pretvori v institucije, postopke in prakso – in pri tem lahko (tudi kot manjša država) naredi veliko, če igra na svoje prednosti: agilnost, povezovanje stroke in hitro učenje iz pilotov. Dejstvo je, da manjšim državam pogosto manjka finančna moč za tekmovanje v razvoju UI, lahko pa prispevajo inovativne pristope k upravljanju in etični uporabi UI.
Slovenija je že sprejela Zakon o izvajanju uredbe (EU) o določitvi harmoniziranih pravil o umetni inteligenci - Državni zbor ga je sprejel 23. oktobra 2025, in v novembru je tudi že začel veljati. Kje so priložnosti?
- Regulativni peskovniki (testna okolja): Akt o UI je predvidel vzpostavitev regulativnih peskovnikov in z novembrskim digitalnim svežnjem sprememb je Omnibus za UI predvidel še nekaj sprememb, ki naj bi dodatno okrepile pomen regulativnih peskovnikov za UI kot varnih testnih okolja, kjer lahko podjetja pod nadzorom oblasti preizkušajo UI rešitve. Slovenija se na to že pripravlja; Zakon za izvajanje Akta o UI je za podporo inovacijam predvidel AKOS kot odgovorno institucijo za vzpostavitev regulativnih peskovnikov za UI (prim. 17. čl. Zakona). To je izvrstna priložnost, da se pri nas testirajo recimo chatbot spremljevalci z vgrajenimi zaščitami: v peskovniku bi strokovnjaki (psihologi, pravniki, inženirji) lahko ocenili, kako učinkovit je denimo »opomnik po dveh urah« pri slovenskih uporabnikih in ali bi bilo smiselno uvesti podobno funkcijo kot standard. Peskovniki lahko ustvarijo lokalne smernice: iz njih izhajajo priporočila, kaj naj jih UI sistemi vsebujejo, da bodo skladni z vrednotami in varnostjo uporabnikov. Slovenija ima močno IKT skupnost in akademsko sfero, ki lahko v sodelovanju z državnimi organi pelje pilotne projekte odgovornega razvoja UI. S tem lahko soustvarjamo evropske standarde "od spodaj navzgor".
- Javna naročila kot vzvod: Javno naročanje je lahko močan vzvod za zahtevanje dodatnih etičnih in varnostnih lastnosti. Slovenija lahko v razpisih zahteva, da morajo UI sistemi, ki interaktivno komunicirajo z uporabniki, izpolnjevati določene dodatne kriterije: npr. ali ima ponudnik rešitev za preprečevanje čezmerne uporabe, kako naslavlja morebitno čustveno stisko uporabnika, ali omogoča prijavo neprimernega vedenja UI in človeški nadzor ipd.. Čeprav Akt o UI tega eksplicitno ne terja za vse sisteme, lahko naročnik prostovoljno dvigne standard. S tem se ustvarja trg za odgovorno UI - ponudniki se bodo prilagodili zahtevam. Slovenija bi lahko v javnem sektorju pilotirala tudi uporabo domačih rešitev z vgrajenimi etičnimi načeli, s čimer bi dala zgled zasebnemu sektorju.
- Smernice in mehko pravo: Čeprav EU že določa obveznosti le na visoki ravni, nič ne preprečuje državam, da izdajo podrobnejše smernice ali sektorska pravila. Pristojne institucije (IP, AKOS ipd.) ter prihajajoči Nacionalni svet za etiko v UI lahko pripravijo priročnike / priporočila za oblikovanje interaktivnih UI. Ti dokumenti (sicer ne pravno zavezujoči, a vplivni) bi razvijalce in ponudnike lahko usmerili, kako vključiti dobre prakse.
- Mednarodno sodelovanje: Slovenija ima že uveljavljeno tradicijo poudarka etike UI - kot podpisnica UNESCO Priporočil za etiko UI, OECD principov, organizatorka Globalnega foruma za etiko UI itd. že aktivno sodeluje pri oblikovanju globalnih smernic za UI - kar je dobra podstat tudi za prihodnjo aktivno vlogo pri sooblikovanju pravil za UI sisteme, ki vplivajo na psihično počutje. Nenazadnje lahko država spodbuja tudi ozaveščanje javnosti: z vključitev tem o kritični uporabi UI spremljevalcev in s podporo raziskavam o vplivu UI na duševno zdravje lahko bistveno pripomore k večji varnosti in osveščenosti.
Sklepno: Čustveno-interaktivna UI odpira novo poglavje v razmerju med človekom in strojem – poglavje, v katerem ne gre več le za varstvo podatkov ali fizično varnost, temveč tudi za naša čustva, odnose in duševno ravnovesje. Evropska unija in Kitajska zasledujeta podoben cilj: zaščititi uporabnike pred zlorabami in tveganji takšnih sistemov. Vendar sta izbrali različna pristopa. EU se opira na načelno, tveganjsko zasnovano ureditev, ki naj bi zagotavljala prilagodljivost, medtem ko Kitajska stavi na večjo normativno določnost in sprotne posege v delovanje sistemov. Najverjetneje se bo kot najustreznejša izkazala rešitev med obema skrajnostma: evropski model bo morda moral postati operativnejši (z bolj konkretnimi smernicami ali ciljnimi dopolnitvami za posamezne domene), kitajski pa se bo moral soočiti z izzivi dejanske implementacije ter z nujnostjo večje prožnosti, da ne bi po nepotrebnem zaviral koristnih uporab.
Za Slovenijo in druge države je ključno, da to dinamiko pozorno spremljamo. Hkrati imamo priložnost ravnati proaktivno: še preden nas preplavijo komercialne rešitve od zunaj, lahko oblikujemo lastne standarde, pilotno preizkusimo rešitve in v evropsko razpravo o čustveno inteligentni UI prispevamo tudi slovenski glas. Tako bomo okrepili zagotovilo, da UI ostane orodje v službi človeka – in ne tvegano preizkušanje človekovih čustev v senci pravnih sivin.
Res je, da evropski regulativni vlak pogosto vozi počasi, vendar lahko s premišljenimi koraki – denimo s peskovniki, ustrezno zasnovanimi pogodbenimi pogoji in praktičnimi smernicami – poskrbimo, da čustvena UI ne bo ostala nereguliran »Divji zahod«, temveč področje, na katerem se inovacije in skrb za človeka uravnoteženo dopolnjujejo.