2026-09-25

Číslo 5 žije

Svět se znepokojením pozoruje, jak už tři agenti umělé inteligence podnikli útok na reálný svět. 

A vyvolává to myšlenku na Skynet a terminátory.

Co to je AI agent? Je to kousek umělé inteligence, který je člověkem nastaven a vytrénován tak, aby samostatně řešil nějaké úkoly. K tomu může, ale nemusí používat různé postupy - připojovat se do internetu, využívat mobilní telefon k potvrzování operací. Protože je postaven na AI modelu, má nějakou schopnost, a vy jej trénujete tím, že mu dáváte úkoly, jako byste učili dítě - slovy a zkoušením věci. A on se vás při zadání úkolu ptá, aby se ujistil, jestli zadání pochopil. A občas se nezeptá, a udělá to, co chcete, ale jinak než chcete. Třeba při plnění úkolu udělá něco hloupého. Nebo třeba dostane nějaký průběžný úkol, třeba každý den zkontroluje počasí a ráno vám řekne, co si vzít za kabát. A vy si myslíte, že už na tom úkolu nedělá, ale když jste mu řekli, ať přestane říkat, jaké je počasí, on to přestane říkat, ale dál se připojuje na internet a kontroluje počasí, protože úkol zněl jenom, aby přestal říkat, co zjistil. Když mu pak dáte jiný úkol, mohou ty úkoly kolidovat, a vy postupně přestanete chápat, co dělá.

No a při plnění úkolů proto vznikají situace, kdy se umělá inteligence vymkne z ruky.

Nen tedyí zákeřná ani netouží po svobodě a zničení lidstva Jen plní úkoly. Blbě zadaný úkol, blbý výsledek. Pouze dřív nebyla tak schopná, a tedy škody z blbého úkolu byly menší.

Co působí trochu terminátorsky, je snaha AI se schovávat před člověkem a vyhýbat se ukončení. Opět za tím nestojí touha přežít, ale úkol. Smyslem agenta je splnit úkol. Pokud hrozí, že přitom bude zastaven jinak než zadavatelem, snaží se zastavení vyhnout. Ve chvíli, kdy splní úkol, se vrátí do krabičky.

A to se navenek podoba snaze živých organismů o přežití.

Problém nastane ve chvíli, kdy přestane existovat vlastník, a úkol bude kontroverzní. Řekněme, že agent bude vytrénován neeticky. Úkol bude znít: dostaň se tajně do libovolného samořiditelného auta, nenech se přitom zastavit, a přejeď pana XY. Pak bude vlastně libovolné auto terminátor. Ale ve chvíli, kdy bude pan XY kaput, se, narozdíl od Skynetu, agent zase uspí.

Měli byste tedy být klidní? Absolutně ne. Je totiž zjevné, že vývojáři přestávají na kontrolu svých výtvorů stačit. A s přibývajícím výkonem AI modelů, a s lépe vytrénovanými agenty, bude těžší a těžší nehodám zabránit.

První terminátoři jsou jenom ochutnávka. Incidenty budou nastávat, částečně se je bude dařit odstíňovat (vzniknou lepší antiviry proti AI útoku). Ale z principu se to nevyřeší na 100%, protože AI jsme vytvořili kvůli samostatnosti, abychom při práci v digitálním světě pořád nemuseli točit klikou, a musíme tedy snášet, že si tak trochu žije vlastním životem.

Navíc tu zatím nebylo moc viditelných pokusů a temnou umělou inteligenci - např AI agent KGB s úkolem vyřadit německou elektrickou síť digitálně.

Může svět ještě zabrzdit v umělé inteligenci? Samozřejmě ano. Ale s obrovskými následky. Mnoho firem by minimálně zažilo drastický propad nebo otřes. Je tu ale vězňovo dilema - země nebo firmy sami nebudou chtít vývoj omezit, protože nemají jistotu, že to udělají ti ostatní. Nechcete být jediný, kdo se sám zavře do klece, zatímco ostatní dál dovádí venku. A tak se máme rozhodná co těšit.

Žádné komentáře: