V červenci bylo po více než třech letech v úředním věstníku Evropské unie (EU) zveřejněno nařízení 2024/1689 ze dne 13. června 2024, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci („Akt o umělé inteligenci“) – první komplexní regulace umělé inteligence (AI) na světě, která má potenciál výrazně otřást nejen Evropou, ale i celým technologickým světem. V tomto článku pro vás přehledně shrnujeme klíčové informace o tom, co Akt o umělé inteligenci reguluje, koho se týká a jaké povinnosti ukládá. Navíc vám přinášíme praktický návod, jak se můžete na Akt o umělé inteligenci připravit již nyní, a náhled na postupné zavádění regulace včetně aktuálního vývoje kolem nařízení v České republice.
AI se během posledních let stala neodmyslitelnou součástí moderního technologického světa a její vliv proniká do stále více oblastí – od průmyslu přes služby až po veřejnou správu. S tím, jak se AI stále více začleňuje do každodenního fungování společností i běžných občanů, narůstala z perspektivy EU potřeba její regulace, aby bylo zajištěno její bezpečné a etické používání. Tento krok se pak stal letošním přijetím Aktu o umělé inteligenci realitou.
Akt o umělé inteligenci není jen o definování toho, co je povoleno či zakázáno. Jde o rozsáhlou regulaci, která klasifikuje AI systémy na základě jejich rizikového potenciálu a určuje konkrétní povinnosti pro širokou škálu subjektů, od technologických startupů vyvíjejících pokročilé AI algoritmy až po veřejné instituce, jako jsou nemocnice či úřady, které využívají AI systémy ke zlepšení efektivity svých procesů – Evropská komise si od nového předpisu slibuje dalekosáhlý dopad. Ačkoliv z různých stran zaznívá i kritika tohoto přístupu s ohledem na potlačování inovací, pojďme se pragmaticky podívat na klíčové oblasti a aspekty této regulace.
Regulované technologie
Co se týče věcného rozsahu Aktu o umělé inteligenci, předpis pokrývá dvě klíčové technologie – AI systémy a tzv. AI „obecného účelu“ (GPAI)[1]. Zatímco AI systémy jsou hodnoceny podle stupně rizika, GPAI modely představují zvláštní kategorii s vlastním systémem regulace. Tabulka níže přináší přehled obou technologií a jejich klasifikace podle Aktu o umělé inteligenci.
Co Akt o umělé inteligenci reguluje? | |
---|---|
Technologie | Popis |
AI systém | AI systémy založené na strojovém učení generující predikce, doporučení nebo rozhodnutí a které mohou ovlivnit fyzické i virtuální prostředí. Dělí se na:
|
GPAI | Modely, které:
Akt o umělé inteligenci reguluje jak základní GPAI modely, tak GPAI modely se systémovým rizikem, které mohou mít výrazný dopad na trh či bezpečnost a podléhají přísnějším požadavkům. |
Role subjektů v AI hodnotovém řetězci
Akt o umělé inteligenci rozlišuje mezi různými subjekty v rámci AI hodnotového řetězce. Poskytovatelé, zavádějící subjekty (tzv. deployeři), dovozci a distributoři jsou definovány s ohledem na jejich konkrétní role a odpovědnosti v rámci AI ekosystému. Tabulka níže popisuje tyto role a subjekty, na které se Akt o umělé inteligenci vztahuje.
Jaké subjekty Akt o umělé inteligenci reguluje? | |
---|---|
Subjekt | Popis |
Poskytovatelé | Poskytovatelé AI systémů jsou subjekty, které vyvíjejí nebo nechávají vyvíjet AI sytém či GPAI; nebo uvádějí tyto systémy na trh nebo do provozu pod svým vlastním jménem, názvem nebo ochrannou známkou, ať už za úplatu nebo zdarma. Poskytovatelé mohou zahrnovat i subjekty, které upravují nebo doladí již existující model a uvedou jej na trh. |
Deployeři (tzv. zavádějící subjekty) | Subjekty, které používají AI systémy pro profesionální nebo komerční účely. |
Dovozci | Subjekty se sídlem v EU, které uvádějí na trh AI systémy vyvinuté subjekty mimo EU a nesoucí jejich značku či jméno. |
Distributoři | Subjekty v rámci dodavatelského řetězce (kromě poskytovatelů nebo dovozců), které zpřístupňují AI systémy na trhu EU, ale samy tyto systémy nevyvíjejí ani neupravují. |
Povinnosti podle Aktu o umělé inteligenci se výrazně liší podle role, kterou subjekt hraje v hodnotovém řetězci. Poskytovatelé mají nejvíce povinností, zejména pokud jde o vysoce rizikové AI systémy, včetně povinnosti posouzení shody a registrace v EU databázi. Deployeři a distributoři mají nižší míru odpovědnosti, ale v některých případech mohou být považováni za poskytovatele, pokud například provedou zásadní úpravy systému nebo jej uvedou na trh pod svým jménem.
Akt o umělé inteligenci tak může v praxi ovlivnit širokou škálu subjektů, a to včetně těch, které:
- používají AI systémy při svých činnostech (např. finanční instituce, které používají sofistikované AI systémy pro detekci podvodů a analýzu rizik v reálném čase);
- přizpůsobují AI systémy vyvinuté třetí stranou pro své účely (např. společnosti v oblasti marketingu, které upravují AI chatboty poskytované třetími stranami pro komunikaci se zákazníky); a zejména
- vyvíjejí a implementují vlastní AI systémy (např. technologické startupy, které vytvářejí nové systémy strojového učení pro autonomní vozidla).
Povinnosti dle Aktu o umělé inteligenci
Povinnosti jednotlivých subjektů v hodnotovém řetězci AI jsou rozděleny podle jejich role a klasifikace AI systémů. Tabulka níže přehledně zobrazuje nejzásadnější povinnosti, které musí jednotlivé subjekty plnit podle Aktu o umělé inteligenci.
Subjekt | Povinnosti | Co hrozí při nedodržení? |
---|---|---|
Poskytovatelé vysoce rizikových AI systémů | Posouzení shody a označení CE: Formální posouzení shody před uvedením na trh. Identifikace poskytovatele: Jasná identifikace na systému. Automatické logování: Zaznamenávání událostí a vstupních dat. Registrace v EU databázi: Registrace v centrální databázi. Systém řízení kvality: Zavedení systému řízení kvality. | Pokuty až do výše 15 milionů eur nebo 3 % celosvětového ročního obratu (podle toho, která částka je vyšší). |
Deployeři vysoce rizikových AI systémů | Soulad s pokyny: Použití v souladu s technickými instrukcemi poskytovatele. Lidský dohled: Adekvátní dohled vyškoleným personálem. Reprezentativní data: Použití relevantních vstupních dat. Monitoring a záznamy: Pravidelný monitoring a uchovávání záznamů. | |
Dovozci a distributoři AI systémů | Ověření souladu: Zkontrolovat, že systém má CE označení a EU prohlášení o shodě. Skladování a přeprava: Zajistit, aby podmínky neohrozily soulad systému. Zastavení na trhu: Neuvést/nedodat systém, pokud není v souladu. Poskytování informací: Předložit dokumentaci a prohlášení o shodě na žádost orgánů. Spolupráce s orgány: Spolupracovat na snížení a zmírnění rizik. | |
Poskytovatelé GPAI modelů | Technická dokumentace: Vedení technické dokumentace pro regulační orgány. Informace pro integrátory: Poskytování informací pro bezpečnou integraci. Ochrana autorských práv: Zajištění souladu s autorskými právy. Zveřejnění tréninkových dat: Transparentnost ohledně použitých tréninkových dat. | |
Poskytovatelé GPAI modelů se systémovým rizikem | Oznámení Evropské komisi: Oznámení o systémovém riziku. Mitigace rizik: Hodnocení a zmírnění rizik. Hlášení incidentů: Hlásit závažné incidenty regulačním orgánům. Kybernetická bezpečnost: Ochrana před kybernetickými útoky. | |
Poskytovatelé a deployeři některých AI systémů v kontextu povinností transparence | Informování o AI (poskytovatelé): Informovat uživatele o komunikaci s AI. Označení AI-generated obsahu (poskytovatelé): Označit uměle vytvořený obsah. Označení deep fake (deployeři): Označit deep fake obsah jako uměle vytvořený. Poskytnutí informací (poskytovatelé / deployeři): Jasné informace při první interakci. |
Časová osa implementace
Akt o umělé inteligenci byl v Úředním věstníku EU zveřejněn dne 12. července 2024. Nabyl platnosti 1. srpna 2025 a jeho implementace bude probíhat postupně. Klíčové milníky zahrnují termíny pro splnění povinnosti povinných subjektů, vydání tzv. Kodexů správné praxe, ustanovení příslušných vnitrostátních orgánů, vytvoření regulatorních sandboxů a další.
Následující tabulka přehledně uvádí nejdůležitější data spojená s implementací Aktu o umělé inteligenci:
Termín | Opatření | Popis |
2. února 2025 | Zákazy některých AI systémů nabývají účinnosti | Zákazy zahrnují rozpoznávání emocí na pracovišti, sociální skórování, manipulaci chování a prediktivní policing, včetně systémů využívajících citlivé biometrické údaje a nekontrolovaný scraping obličejových snímků z internetu. |
2. května 2025 | Zveřejnění Kodexů správné praxe pro GPAI Evropskou komisí | Kodexy by měly poskytovat konkrétní technická doporučení pro GPAI modely, které se uplatní v celé EU. |
2. srpna 2025 | Určení vnitrostátních příslušných orgánů a zveřejnění jejich kontaktů | Členské státy musí určit příslušné orgány, které budou zodpovědné za vymáhání souladu s Aktem o umělé inteligenci. |
2. srpna 2025 | Pravidla pro GPAI modely, administrativní organizaci a sankce nabývají účinnosti | Pravidla zahrnují závazky poskytovatelů GPAI modelů a sankce za porušení. Sankce budou plně vymáhány po dosažení obecné účinnosti. |
2. února 2026 | Vydání pokynů k praktickému provedení článku 6 Evropskou komisí | Pokyny by měly objasnit praktické aspekty monitorování AI systémů a postupy pro dodržování povinností poskytovatelů AI modelů v oblasti post-market monitoringu. |
2. srpna 2026 | Vznik alespoň jednoho funkčního národního AI regulatorního sandboxu | Regulatorní sandboxy mají podporovat testování AI systémů v kontrolovaném prostředí a urychlit jejich nasazení na trh. |
2. srpna 2026 | Zbývající části Aktu o umělé inteligenci nabývají účinností, kromě článku 6 odst. 1 | Ustanovení zahrnují povinnosti poskytovatelů AI systémů včetně transparentnosti a bezpečnostních opatření. |
2. srpna 2027 | Nabývá účinnosti článek 6 odst. 1 Aktu o umělé inteligenci | Ustanovení zahrnuje povinnosti v souvislosti s vysoce rizikovými AI systémy, které jsou výrobky nebo bezpečnostními součástmi výrobků, které již podléhají požadavkům na posuzování shody třetí stranou podle odvětvového nařízení EU. |
31. prosince 2030 | AI systémy jako součást velkých IT systémů musí být v souladu s nařízením | AI systémy, které jsou součástí rozsáhlých IT systémů, jako je Schengenský informační systém, musí splňovat požadavky Aktu o umělé inteligenci. |
Co můžete udělat již teď?
Ačkoliv budou ustanovení Aktu o umělé inteligenci nabývat účinnosti postupně, s přípravami byste neměli otálet, abyste předešli regulatorním problémům a možným sankcím. Proaktivní přístup vám umožní zajistit hladký přechod do období, kdy nařízení, resp. pro vás relevantní ustanovení, vstoupí v účinnost. Níže uvádíme některá opatření, která můžete přijmout již nyní, abyste minimalizovali potenciální regulatorní rizika.
1. Určete relevanci Akt o umělé inteligenci pro váš use case
Provedení inventarizace AI systémů je klíčové pro určení aplikovatelnosti nařízení. Takový proces bude zpravidla spočívat v:
- identifikaci systémů, které vyvíjíte, používáte nebo distribuujete;
- zjištění, zda jsou systémy interně vyvinuty nebo poskytovány třetími stranami; a
- určení jejich účelu, vstupních a výstupních dat a místa použití.
Pro společnosti, které samostatně vyvíjejí AI systémy, je pravděpodobnost relevance Aktu o umělé inteligenci přirozeně větší. Rizikovost a aplikovatelnost však bude primárně záviset na sofistikovanosti a výkonnosti systému. Zatímco základní systémy, jako jsou spam filtry nebo jednoduché AI ve videohrách, zůstanou zpravidla mimo regulaci, s rostoucí sofistikovaností systémů se zvyšuje i jejich rizikovost, čímž přirozeně roste i pravděpodobnost aplikovatelnosti Aktu o umělé inteligenci, který se zaměřuje zejména na systémy s vyšší mírou rizika. Tato logika pak samozřejmě platí i pro společnosti, které AI systémy pouze využívají ve vztahu k systémům, které využívají.
2. Vybudujte systém pro řízení AI
Pokud Akt o umělé inteligenci ve Vašem případě stanovuje povinnosti, doporučujeme sestavit tým pro řízení compliance a vybudovat sofistikovaný systém pro řízení vámi používaného či vyvíjeného AI. Tento systém by měl tvořit základní strukturu pro další konkrétnější kroky, jako je například zavedení interního předpisu pro používání AI jakožto výchozího bodu pro zajištění souladu s novými legislativními požadavky.
3. Zvažte implementaci certifikačních standardů
Dále zvažte implementaci standardů dle certifikace ISO/IEC 42001, prvního mezinárodního standardu pro řízení AI systémů, který specifikuje požadavky na zavedení, udržování a neustálé zlepšování AI systémů. Zaměřuje se na správu rizik, ochranu dat, bezpečnost, transparentnost a spravedlnost v průběhu celého životního cyklu AI systémů, a to jak v kontextu vývojářů, tak i uživatelů. Kromě ISO/IEC 42001 pak existují i další standardy, jako například ISO/IEC 23894 (řízení rizik spojených s AI), které vám mohou posloužit jako základní inspirace pro zajištění souladu s Aktem o umělé inteligenci.
4. Aktualizujte smlouvy s dodavateli
Pokud nejste vývojář a vaše AI systémy jsou poskytovány externími partnery, pokuste se do dodavatelských smluv zahrnout povinnosti týkající se souladu dodávaného systému s požadavky Aktu o umělé inteligenci s cílem zajistit, aby byla odpovědnost za dodržování nařízení přenesená na vaše dodavatele. Rovněž přehodnoťte stávající smlouvy, aby bylo zajištěno, že i dlouhodobě používané systémy budou vyhovovat novým legislativním požadavkům. Tímto přístupem minimalizujete riziko nutnosti změn po implementaci systému a ochráníte své investice.
5. Průběžné hodnocení a přizpůsobení systémů
Ve střednědobé až dlouhodobé perspektivě pak nezapomeňte pravidelně zhodnocovat, jaké povinnosti se na vás dle Aktu o umělé inteligenci vztahují, ať už v kontextu změny předpisu nebo technické úpravy vašeho systému. Takový přístup vám umožní flexibilně reagovat na změny a průběžně udržovat vaše systémy v souladu s Aktem o umělé inteligenci.
Co čekat dál?
Stejně jako u jiných evropských předpisů, ustanovení Aktu o umělé inteligenci většinou specifikují požadované výsledky, nikoli konkrétní technické nebo provozní detaily. Tento nedostatek detailního operačního rámce způsobuje, že aktuální znění Aktu o umělé inteligenci může být pro povinné subjekty méně čitelné a složitější na implementaci.
Výše uvedený nedostatek by však měly vyřešit připravované harmonizované normy pro vysoce rizikové AI systémy a kodexy správné praxe pro GPAI modely, které mají přinést jasnější technický a provozní rámec. Tyto dokumenty, jejichž příprava je stále v procesu, budou rovněž doplněny pokyny Evropské komise k definici AI systémů, zakázaným kategoriím a požadavkům na vysoce rizikové systémy.
Nejasná situace v ČR
V kontextu implementace Aktu o umělé inteligenci v České republice[2] bude nutné provést několik spíše kosmetických změn v právních předpisech. Relevantní úpravy by se měly objevit v zákonech o České národní bance, ochraně osobních údajů a elektronických komunikacích, které zřídí a upraví pravomoci orgánů dozoru nad trhem. Pro otázky biometrické identifikace bude upraven zákon o Policii ČR a pro problematiku pracovních vztahů pak velmi stručně zákoník práce.
Pokud jde o regulační orgán, dosud není jasné, který úřad bude hrát hlavní roli v dohledu nad AI. Bývalý místopředseda vlády pro digitalizaci Ivan Bartoš navrhoval, aby tuto funkci převzal Český telekomunikační úřad (ČTÚ), který by byl podporován Českou národní bankou (pro finanční sektor) a Úřadem pro ochranu osobních údajů (pro dohled nad biometrikou a ochranou soukromí). Důvody pro volbu ČTÚ zahrnují jeho stávající zkušenosti s dohledem nad digitálními službami a potenciál synergie v oblasti digitální transformace.
Součástí implementace bude také stanovení oznamujícího orgánu, který bude mít na starosti certifikaci vysoce rizikových systémů AI. Tento orgán bude muset odborně posuzovat, zda laboratoře a testovací zařízení mají dostatečnou kvalifikaci k vydávání certifikací. Certifikace bude probíhat prostřednictvím posouzení shody externími subjekty, což bude povinné u některých vysoce rizikových AI systémů, přičemž přesný rozsah těchto systémů bude znám až po vydání harmonizovaných norem Evropskou komisí. Návrh ministra počítá s tím, že oznamujícím orgánem by měl být rovněž ČTÚ.
V současnosti však stále panuje nejistota ohledně definitivního určení relevantních orgánů. ČTÚ se brání převzetí této role z důvodu dosavadního zaměření na dohled nad službami, zatímco regulace AI má spíše charakter výrobkové regulace, což vyžaduje odlišný přístup. Národní úřad pro kybernetickou a informační bezpečnost (NÚKIB) i Digitální a informační agentura (DIA) rovněž odmítají roli kvůli kapacitním omezením a jiným legislativním závazkům.
Zatímco v ČR se stále hledá optimální řešení, některé evropské země již činí konkrétní kroky. Španělsko zakládá nový úřad s dobře placenými odborníky, který bude dohlížet na AI, a Polsko vytváří Komisi pro dohled nad umělou inteligencí, což vnímají jako efektivnější řešení než rozšiřování kompetencí stávajících regulátorů. V jiné pozici jsou země sousedící s EU, na které se Akt o umělé inteligenci nevztahuje. Například Velká Británie se rozhodla postupovat cestou sektorové regulace (namísto plošné regulace jako EU) a koordinace mnoha zapojených orgánů a ministerstev. Bude se snažit o nastavení takové regulace, která nebude bránit inovačnímu potenciálu a zároveň zajistí možnost velmi flexibilních změn a úprav v návaznosti na rychlý technologický vývoj, který nás bude v této oblasti stále provázet.
Závěr
Akt o umělé inteligenci je bezpochyby velmi komplexní a technicky náročný předpis, který přináší řadu nových povinností pro široké spektrum subjektů. Jeho současná podoba přirozeně neposkytuje odpovědi na všechny klíčové otázky s AI související, zejména v oblastech práva duševního vlastnictví nebo odpovědnosti za škodu způsobenou AI systémy,[3] které jsou řešeny jen okrajově nebo vůbec.
Pro mnohé subjekty může být tento předpis v jeho současné podobě obtížně čitelný a implementačně náročný. Věříme však, že se v následujících měsících s postupným vydáváním harmonizovaných norem a prováděcích předpisů, které přinesou konkrétnější a hmatatelnější pravidla, zlepší.
Nehledě na výše uvedené výtky a jeho kritiku však máme za to, že Akt o umělé inteligenci může pro EU posloužit jako dobrý základ v oblasti, která regulaci nepochybně potřebuje. Mělo by však jít o regulaci flexibilní, která bude průběžně revidována a upravována podle technologického vývoje a socioekonomických potřeb evropských firem a občanů. Opatrný přístup k jeho implementaci a pozdější revize mohou pomoci zajistit, že předpis bude dostatečně pružný, aby mohl reflektovat budoucí exponenciální vývoj v oblasti AI.
Pokud máte otázky ohledně Aktu o umělé inteligenci a jeho dopadů na vaše podnikání, ať už jste vývojářem AI systémů nebo společností, která AI implementuje do svých procesů, jsme připraveni vám poskytnout odbornou asistenci. Díky našim odborným znalostem v oblasti práva a důkladné orientaci v právních aspektech AI vám můžeme nabídnout komplexní podporu, ať už jde o interpretaci nařízení, jeho aplikaci v praxi nebo zajištění souladu s novými povinnostmi.
- [1] – Oficiální znění dle české verze Aktu o umělé inteligenci je „obecné modely AI“, v angličtině pak „general-purpose AI models“, z čehož pak vznikla použitá zkratka GPAI.
- [2] – Ačkoliv nejde o směrnici, a tedy Akt o umělé inteligenci bude mít přímý účinek, bude i tak některé pasáže předpisu potřeba reflektovat v českých právních předpisech.
- [3] – Tuto problematiku hodlá Evropská komise regulovat v rámci separátní směrnice, viz k tomu náš předchozí článek zde: https://www.havelpartners.blog/odpovednost-za-vadne-vyrobky-a-umelou-inteligenci-v-digitalni-ere-cast-druha