Analýza Marka Poloniho a Davida Němečka z Eversheds Sutherland – Technologie AI má potenciál přinést rozsáhlé ekonomické a společenské příležitosti napříč celým spektrem různých odvětví. Tento rychlý vývoj však s sebou nese řadu právních a regulačních výzev. Je nezbytné zajistit regulaci činností a technologií, které mají vysoký dopad na mobilitu, životní prostředí, zdravotnictví, veřejný sektor a finance. Zároveň je třeba mít na paměti, že s prvky přinášejícími socioekonomické přínosy AI mohou být spojeny negativní důsledky pro společnost. Evropská unie a její členské státy tak čelí výzvě posílení své digitální nezávislosti a nastavení pravidel pro ochranu práv občanů. Současně však musí práva občanů vyvážit s dostupností nových technologií a vyváženou spolupráci s IT firmami.
V červenci letošního roku Evropská unie učinila kroky směrem k přijetí regulačního rámce pro umělou inteligenci. Tento rámec představuje pravděpodobně první ucelený soubor pravidel tohoto druhu na světě. Očekává se, že finální verze nařízení EU bude schválena koncem tohoto roku. Cílem Evropské unie je regulovat umělou inteligenci tak, aby bylo zajištěno, že systémy AI, které mohou být použity v různých aplikacích, budou analyzovány a klasifikovány podle míry rizika, kterou představují pro uživatele.
Tento článek se zaměřuje na výše uvedené skutečnosti a jako demonstrativní příklad bere návrh nařízení Evropské unie týkající se umělé inteligence, přičemž zkoumá některé jeho silné a slabé stránky a dále se zabývá tím, jak by měla legislativa reagovat na další vývoj v oblasti AI. Tento článek nemá za úlohu popsat všechny aspekty regulace AI ani všechny body návrhu nařízení EU o AI.
1/ Dělení rizika AI systémů
Různé úrovně rizika budou určovat míru regulace. V aktuálním návrhu se počítá s klasifikací systémů AI, které představují nepřijatelné riziko, vysoké riziko a nejnižší omezené riziko.
Nepřijatelné riziko
Systémy AI s nepřijatelným rizikem jsou považovány za hrozbu pro lidská práva a budou zakázány, neboť jednají v rozporu se základními právy. Mezi příklady takových systémů patří manipulace s chováním lidí a specifických zranitelných skupin za účelem ovlivnění, což může způsobit majetkovou či nemajetkovou újmu. Evropská Komise uvádí konkrétní příklady, které se zdají až cyberpunkově surreální, přestože představují reálnou hrozbu. Jedním z nich je neslyšitelný zvuk v kabině nákladního auta, který má za cíl přimět řidiče k delší jízdě, než je bezpečné nebo zdravé, s frekvencí tohoto zvuku upravovanou pomocí AI. Druhým, ještě bizarnějším příkladem, je panenka s integrovaným hlasovým asistentem, který podněcuje nezletilého k postupnému provádění nebezpečných činností nebo výzev ve jménu zábavy nebo hry.
Další příklady systémů AI s nepřijatelným rizikem jsou pro nás již představitelnější a tvoří je aplikace, které provádějí sociální klasifikaci lidí na základě jejich chování, socioekonomického statusu nebo osobních charakteristik (tzv. social scoring) a biometrických identifikačních systémů, jako je rozpoznávání obličeje v reálném čase na veřejně přístupných místech za účelem prosazování práva (toto se liší od Apple Face ID). Výjimky z regulace mohou být povoleny v případech, jako je video-streaming nebo „post“ biometrických identifikačních systémů, kde identifikace probíhá se zpožděním, a to pouze za účelem stíhání závažných trestných činů nebo nalezení potenciálních obětí trestných činů, avšak pouze po schválení soudem.
Vysoké riziko
Systémy AI, které mohou negativně ovlivnit bezpečnost nebo základní práva jednotlivců, budou považovány za vysoce rizikové. Označení za vysoce rizikové platí pro systémy, které se používají ve výrobcích, na které se vztahují právní předpisy EU o bezpečnosti výrobků (například hračky, automobily nebo zdravotnické prostředky). Rovněž sem spadají systémy AI v oblastech, jako jsou provoz kritické infrastruktury, zaměstnávání, řízení pracovníků a přístup k samostatné výdělečné činnosti nebo pomoc při právním výkladu a uplatňování práva. Zařazení do kategorie vysoce rizikových nezávisí pouze na funkcích, které daný systém AI vykonává, ale také na konkrétním účelu a způsobu použití.
Všechny tyto vysoce rizikové systémy AI budou podléhat zatím ne zcela jasným pravidlům posouzení před uvedením na trh a také budou pravidelně monitorovány a hodnoceny během svého životního cyklu.
Omezené a nízké riziko
Systémy AI s omezeným rizikem by měly splňovat minimální požadavky na transparentnost, které by umožnily uživatelům činit informovaná rozhodnutí ohledně jejich používání. Uživatelé budou informováni o použití AI a budou moci rozhodnout, zda chtějí pokračovat v interakci s aplikací.
Tato regulace se týká i aplikací používajících tzv. generativní umělou inteligenci, jakou je například ChatGPT. Tyto aplikace budou muset splňovat specifické transparentnostní požadavky a vývojáři budou povinni navrhnout systém tak, aby bylo zabráněno generování nezákonného obsahu. Dále bude vyžadováno zveřejnění souhrnu dat chráněných autorskými právy, která byla použita pro „trénink“ funkcionality AI. Pokud bude systém umělé inteligence používán k vytváření nebo manipulaci s obrazovým nebo zvukovým obsahem, který se podobá autentickému obsahu, bude nařízeno, aby zde bylo uvedeno, že obsah je generován automatizovanými prostředky. Toto opatření umožní uživatelům lépe rozpoznat obsah v online prostředí a rozhodovat se na základě ověřených a nezmanipulovaných informací. Zajímavostí tedy je, že opatření nedopadnou pouze na poskytovatele, ale i na samotné uživatele, kteří obsah generovaný AI používají.
2/ Některé právní výzvy v regulaci systémů AI
Etika a regulace
Návrh nařízení EU o AI vyvolal různorodé ohlasy, přičemž někteří odborníci kritizovali, že Evropská unie přistoupila k tvrdým omezením, aniž by se na úrovni odborné skupiny více systematicky zabývala etickými otázkami regulace AI jako takové. Tím vzniká otázka, jak by měly být tyto technologie používány a regulovány aby se předešlo jejich zneužití, ale nebyl zbrzděn jejich rozvoj. Je třeba rozlišit, zda by měla regulace zahrnovat AI technologii obecně nebo by měla být zaměřena toliko na omezení konkrétního využití AI v aplikacích a systémech, přičemž návrh nařízení EU o AI působí jako podivný hybrid.
Existuje široká škála názorů na to, jaký typ regulace by měl být použit (povinná regulace, dobrovolná samoregulace nebo minimální regulace), což ztěžuje dosažení konsenzu ohledně optimálního přístupu. Avšak např. v případě použití AI systému k samořízení letadla by zřejmě každý pasažér preferoval použití AI systému, který prošel vysokou úrovní kontroly kvality, zajišťovacích procesů a bezpečnostních kontrol – což je relativně vysoká úroveň formy regulace. Na příkladu demonstrujeme, že bez ohledu na konkrétní preferovanou intenzitu a podobu regulace je zcela nutné zajistit, aby určité formy nebo instance AI podléhaly alespoň nějaké formě regulace, aby se zajistila bezpečnost a ochrana práv jednotlivců.
Harmonizace
Několik aspektů návrhu nařízení o AI vyvolává obavy ohledně maximální harmonizace přístupu k AI v rámci Evropské unie bez širšího přispění členských států. Tato harmonizace může předčasně omezit legitimní vnitrostátní politiku v této oblasti. V oblasti vnitřní harmonizace cílem návrhu nařízení o AI je zabránit jednostranným právním předpisům, které by mohly vést k roztříštění jednotného trhu a k uvalení vyšší regulační zátěže pro provozovatele, kteří vyvíjejí nebo používají AI. Pokud ustanovení nařízení vedou k „maximální harmonizaci“, budou mít členské státy možnost jednat v této oblasti v zásadě znemožněnu. Členské státy budou muset upustit od uplatňování protichůdných vnitrostátních pravidel a přijímat na svých trzích výrobky, které jsou v souladu s nařízením o AI.
Ochrana osobních údajů
Ochrana osobních údajů je klíčovým aspektem regulace AI, kterou je potřebné zvážit a do regulace o AI dostatečně implementovat, aby bylo respektováno soukromí uživatelů a aby byly dodržovány příslušné právní předpisy, jako například vzpomenuté GDPR.
Velká pozornost byla například věnována potenciálu systémů AI usnadňovat nepřímou diskriminaci zaměstnanců prostřednictvím automatizovaného rozhodování v rámci HR procesů. Je obtížné odhalit, zda systém AI používaný při pomoci rozhodování v pracovním HR prostředí (ne)zohledňuje nepřímou diskriminaci při poskytování výstupů, pokud poskytovatelé systému AI neznají příslušné chráněné (a často citlivé) charakteristiky dotčených jednotlivců. Ve zkratce je potřebné zabezpečit, aby zaměstnanci byli chráněni před nepřímou diskriminací při rozhodování zaměstnavatele, pokud ten spoléhá na systémy AI. K správnému fungování tak vývojářům AI aplikací musí být poskytnuty často citlivé osobní údaje zaměstnanců, aby bylo možné ověřit, že žádné z rozhodnutí, které AI systém doporučil, v konkrétním případě nebylo založeno na znacích nepřímé diskriminace.
Dále, i když je stanoven zákaz biometrického sledování v reálném čase, existují výjimky, které mohou být užitečné, ale mohou také otevřít dveře k potenciálnímu zneužití těchto technologií. To může zahrnovat použití biometrické identifikace státními institucemi pro účely, které nejsou původně zamýšleny, avšak možné jako například ochrana veřejného zdraví. V takových případech by mohly vzniknout otázky ohledně dodržování právních předpisů o ochraně soukromí. Zhruba shrnuto, v případě neexistence přiměřeného zákona členského státu, který by takové sledování a shromažďování údajů v rámci biometrického sledování povoloval, tak GDPR klade na každou snímanou osobu požadavek individuálního souhlasu, který je fakticky nemožné při rozsáhlém sledování získat.
3/ Budoucnost regulace
Návrh nařízení EU o AI je prvním pokusem o horizontální regulaci systémů AI na světě. Obsahuje řadu rozumných prvků, včetně klasifikace AI systémů podle úrovně rizika a stanovení jasných zákazů a výjimek týkajících se použití AI. Návrh však současně trpí závažnými nedostatky. Je sešitý z regulace bezpečnosti výrobků, ochrany základních práv, dohledu a ochrany spotřebitele, stejně jako různých regulací, které nemusí vždy být vhodné pro AI. Předběžný efekt maximální harmonizace návrhu nařízení o AI vyvolává další otázky, a to zejména v souvislosti s omezováním vnitrostátních pokusů o regulaci sociálního dopadu používání systémů AI ve jménu svobodného přístupu k informacím a ochrany osobních údajů.
Aby byly výzvy spojené s rychlým vývojem nové generace softwaru řešeny efektivně, je nezbytné, aby legislativa reagovala na nové technologie pružněji. Toto zahrnuje přinejmenším aktualizaci zákonů týkajících se ochrany osobních údajů, duševního vlastnictví a minimálních bezpečnostních standardů výrobků. Klíčovou otázkou zůstává stanovení jasné odpovědnosti vývojářů za důsledky uvedení určitých AI systémů na trh.
Režim systémů AI vysokého rizika může působit působivě, ale pod povrchem návrhu stále existují nové neprobádané mechanismy a nově zřizované orgány, které mají psát pravidla, podle kterých se sami poskytovatelé AI systémů budou hodnotit během životních cyklů svých výrobků. Ustanovení o transparentnosti doplňují stávající právní předpisy příliš málo na to, aby se v nich orientoval běžný uživatel.
Budoucnost regulace AI pravděpodobně závisí na spolupráci mezi nadnárodními celky, zeměmi, technologickým sektorem a občanskou společností. Některá ustanovení návrhu nařízení EU o AI mohou mít nepředvídatelné právní důsledky, zatímco jiná mohou být v praxi neúčinná při dosahování stanovených cílů. Tyto aspekty budou pravděpodobně lépe pochopeny a zdokonaleny během legislativního procesu a zejména při jejich aplikaci v praxi.
——
NG software Digitální technologie mění životy. V oblasti softwarového průmyslu pozorujeme revoluční vývoj nové generace softwaru nazývaného Next Generation Software (NG software). Termín NG software označuje softwarové aplikace a systémy, které využívají moderní technologie, včetně umělé inteligence (AI), strojového učení a automatizace. Tyto aplikace jsou schopny adaptovat se na nové podmínky, optimalizovat svůj provoz na základě získaných zkušeností a rychle reagovat na změny v prostředí. Mezi konkrétní příklady využití NG softwaru patří samořídicí vozidla, chatboti, diagnostické nástroje v medicíně, finanční analytické systémy a další aplikace, které využívají AI pro zpracování dat a rozhodování.
Marek Poloni Advokát pražské kanceláře Eversheds Sutherland. Ve své praxi se věnuje zejména smluvnímu a korporátnímu právu se zvláštním zaměřením na digitální služby, kyberbezpečnost, IP/IT a ochranu osobních údajů.
David Němeček Advokát pražské kanceláře Eversheds Sutherland. Poskytuje právní poradenství zejména v oblasti práva nemovitostí, kyberbezpečnosti či ochrany osobních údajů.
Článek vyšel v Lawyers & Business 5/2023.
