Michal Pěchouček
Tomáš Lébr
Tech mastermind
Michal Pěchouček: AI už útočí sama. Největší hrozbou ale může být ztráta lidského rozhodování
Umělá inteligence už dokáže sama hledat slabiny v počítačových systémech. Podle nového rektora ČVUT Michala Pěchoučka ale není největším rizikem scénář z Terminátora. Větší hrozbou může být svět, v němž lidé postupně přenechají rozhodování algoritmům.
redaktor
Umělá inteligence přestává být pouhým nástrojem. Stačilo pár měsíců a ocitli jsme se v bodě, kdy stroje dokážou samy hledat slabiny a samy na ně útočit. V kyberprostoru tak proti sobě stále častěji nestojí lidé, ale algoritmy.
Expert na AI a nový rektor ČVUT v Praze Michal Pěchouček se tolik neobává, že by umělá inteligence jednou „převzala kontrolu“, jak to známe ze sci-fi děl. Skutečné riziko je podle něj mnohem méně nápadné – a o to nebezpečnější.
A sice že lidé postupně odevzdají rozhodování algoritmům, aniž by si to uvědomovali. A ještě u toho budou mít pocit, že jde o svobodnou volbu.
Ještě před pár měsíci se debata o umělé inteligenci točila hlavně kolem jejího praktického využití. Dnes se ale podle profesora Michala Pěchoučka posouváme zase dál – AI totiž začíná fungovat jako samostatný aktér v kyberprostoru.
Jako příklad uvádí vývoj ve společnosti Anthropic, která vyvinula model AI Mythos. „Vznikají modely, které dokážou automaticky analyzovat systémy velkých firem a hledat v nich slabiny – bez přímého zásahu člověka. A to znamená, že se úplně mění pravidla hry.“
Tím se prý zásadně proměňuje samotná podstata kyberbezpečnosti. „Kyberbezpečnost je dnes souboj stroje proti stroji. To není nic nového, říkám patnáct let, že to nastane. A teď jsme se do toho bodu opravdu dostali,“ říká.
Zatímco dříve byli lidé hlavní linií obrany, dnes se jejich role rychle mění. „Člověk už není ten, kdo to všechno manuálně brání. Je spíš inovátor – někdo, kdo navrhuje, jak mají ty obranné systémy fungovat.“
Rozhodující přitom není jen to, kam vývoj směřuje, ale hlavně jak rychle se odehrává. „Jako vědci si dokážeme představit, kam to směřuje. Jediné, co neznáme, je rychlost. A ta je naprosto klíčová – protože když je ten vývoj pomalý, společnost má čas reagovat. Když je rychlý, tak to nestihne.“
Michal Pěchouček
Tomáš Lébr
I proto považuje za zásadní, jak se k vývoji stavějí samotné technologické firmy. „To, co teď dělá Anthropic, je zajímavé – oni svůj model AI nejdříve dali velkým firmám, aby se mohly naučit s ním pracovat a připravit si obranu, až jej někdo bude chtít použít proti nim. Vlastně tím ten vývoj trochu přibržďují a dávají společnosti čas. To považuji za velmi chvályhodné.“
Jedno je ale podle Pěchoučka jisté bez ohledu na rychlost. Automatizace v kyberprostoru bude dál sílit a nelze ji zastavit. „Kyberútočení je dnes nákladné – a čím víc ho automatizujete, tím je levnější. A totéž platí pro obranu. Takže ve výsledku to směřuje k tomu, že technologie budou bojovat proti technologiím.“
Veřejná debata se často točí kolem otázky, zda umělá inteligence jednou „převezme kontrolu“ nad vším – jako jsme to kdysi viděli třeba ve filmu Terminátor. Michal Pěchouček ale vnímá i jiné možnosti.
„To, že nás umělá inteligence jednou zničí, je přípustný scénář. Může se to stát. Ale já si myslím, že to hlavní nebezpečí je někde úplně jinde,“ říká.
Podle něj není nejpravděpodobnější, že by AI sama o sobě ohrozila lidstvo, ale že ji lidé začnou masově využívat proti sobě. „Bezprostřednější nebezpečí je zneužití umělé inteligence člověkem vůči jiným lidem.“
Vedle toho upozorňuje na ještě méně nápadnou, o to zásadnější hrozbu – postupnou ztrátu lidské autonomie. „To největší nebezpečí má úplně jinou povahu. Jde o to, že člověk postupně ztrácí svoji schopnost rozhodovat sám za sebe.“
Umělá inteligence totiž čím dál víc vstupuje do každodenních rozhodnutí – od toho, co si koupíme, až po to, s kým komunikujeme.
„Myslíte si, že si dnes vybíráte, co budete jíst, co si koupíte, s kým budete komunikovat. Ale opravdu vybíráte vy? Čím dál víc toho za vás rozhodují algoritmy. A vy se postupně dostáváte do jakýchsi mikrosvětů, které vám někdo skládá. Někdo, něco. Ale ne vy.“
Právě v tom vidí značné nebezpečí. „V momentě, kdy jsou lidé takhle uzavření ve svých mikrosvětech, se dají velmi snadno ovládat. Kdysi to bylo sci-fi, dnes to v podstatě už žijeme.“
Američané jsou mnohem ochotnější riskovat. Neúspěch se tam odpouští. V Evropě se ho bojíme víc.
Podle Pěchoučka je proto vždy nutné přemýšlet o technologii komplexně – jako o nástroji, technologii samotné, ale také o jejím dopadu na společnost a chování lidí. „Proto je potřeba, aby se AI nezabývali jen technicky zaměření vědci, ale i ti z jiných vědních oblastí. Protože AI zasahuje do celého spektra lidských činností.“
Ve veřejném prostoru se čím dál častěji mluví o „závodě o obecnou umělou inteligenci“ mezi USA a Čínou. Podle Pěchoučka je tato představa do určité míry přesná.
Obecná umělá inteligence by na rozdíl od dnešních systémů neměla být zaměřená jen na úzké úkoly, ale dokázala by řešit široké spektrum problémů podobně jako člověk – od analytického myšlení až po rozhodování v neznámých situacích. „Ano, je to ten milník. O to dneska jde,“ říká přímo.
Zároveň ale upozorňuje, že nejde o závod s jedním vítězem. „Není to jako jaderná bomba, že kdo ji má první, vyhrál. Tady to takhle fungovat nebude.“ Z toho podle něj vyplývá i překvapivý závěr: rivalové jako USA a Čína se budou muset v určité fázi spojit. „Mocnosti spolu nakonec budou muset spolupracovat, aby zabránily tomu, že to někdo třetí zneužije proti nim samotným.“
Zatímco Spojené státy i Čína masivně investují do vývoje umělé inteligence, EU je často vnímána – a také vysmívána – jako hráč, který spíš reguluje, než inovuje. „To je takový evropský urban myth, který si tady sami říkáme, a tím se shazujeme. Není to pravda,“ zdůrazňuje rektor ČVUT.
Evropa prý skutečně zaostává, ale z úplně jiných důvodů. „Hlavní problém je, že v Evropě nemáme jednotný kapitálový trh,“ vysvětluje. Evropa jednoduše nemá dostatečně silný mechanismus, jak inovace ve velkém financovat.
„Nemáme infrastrukturu, která by umožňovala škálovat firmy tak, jako je to běžné v USA,“ říká. A problém není jen systémový, ale i kulturní. „Nemusíme se ohlížet jen na Brusel. Jde i o to, jak se chováme my sami jako investoři.“
Na příkladu běžného Evropana ukazuje, jak celý mechanismus funguje v praxi. „Evropan – a je jedno, jestli Francouz, Ital nebo Čech – vydělá peníze. Aby je dobře investoval, koupí si nejprve byt. A pak investuje na NASDAQ, tedy do amerických technologických firem,“ popisuje. Výsledek je podle něj paradoxní: evropské úspory ve velkém financují inovace jinde. „My si inovace sami platíme – jen ne u nás,“ shrnuje.
Ke změně je zapotřebí systémového rozhodnutí, říká Pěchouček. Evropa by si měla přiznat, že bez silné, respektované kapitálové infrastruktury nemůže v globální konkurenci uspět.
„Potřebujeme skutečnou evropskou burzu. Neztrácet čas – a peníze – na líbivé představě, že každý stát bude mít svou vlastní malou burzu,“ říká otevřeně. Právě roztříštěnost podle něj brání tomu, aby se kapitál koncentroval a mohl efektivně podporovat růst technologických firem.
Michal Pěchouček
Tomáš Lébr
Vedle ekonomiky ale podle rektora hraje roli i kultura podnikání. „Američané jsou mnohem ochotnější riskovat. Neúspěch se tam odpouští. V Evropě se ho bojíme víc,“ dodává.
A jaký je tedy vliv často kritizované regulace? Profesor přiznává, že ani mezi odborníky nepanuje shoda a i v debatách s lidmi z technologického sektoru naráží na odlišné názory. Sám ale odmítá zjednodušený pohled, že regulace je automaticky překážkou inovací.
„Regulujeme spoustu věcí – potraviny, dopravu, bezpečnost. Díky tomu nám teče z kohoutku pitná voda, máme kontrolované výrobky a fungující infrastrukturu,“ připomíná. Regulace podle něj není ideologický nástroj, ale praktický mechanismus, jak chránit společnost před riziky, která by jinak nesla příliš vysoké náklady.
Podle něj je proto zvláštní, že právě u umělé inteligence se část debaty snaží regulaci zcela odmítnout. „Proč bychom neměli regulovat umělou inteligenci?“ ptá se. Zvlášť ve chvíli, kdy podle něj vědecká komunita už roky upozorňuje na konkrétní rizika – od bezpečnosti přes manipulaci až po dopady na společnost.
Neznamená to ale, že by každá regulace byla automaticky správná. Pěchouček připouští, že evropské předpisy mohou být někdy zbytečně složité či těžkopádné. To však podle něj není argument pro jejich odmítnutí, ale spíš pro jejich zlepšení.
„To, že něco není udělané ideálně, neznamená, že to nemá smysl,“ naznačuje. Ve stručnosti je evropský přístup jednoduše jiný než americký – a má to své opodstatnění. „V Americe se maximalizují zisky akcionářů. V Evropě se víc chrání uživatel. A protože se často cítím jako uživatel, vnímám tuhle ochranu jako poměrně značnou hodnotu.“
Evropa tak podle něj nestojí mimo hru, ale hraje ji jiným způsobem. „To, že dnes v AI nejsme nejvíc konkurenceschopný region, je fakt. Ale neznamená to, že evropská cesta je špatná.“
Rostoucí vliv technologických firem se neprojevuje jen v ekonomice, ale čím dál víc i v politice. „Dochází k postupnému prorůstání technologických firem do státní moci. A v některých případech už to začíná být opravdu hodně těsné,“ říká. Tento trend označuje jako „techno-oligarchii“. „Firmy vyvíjející umělou inteligenci jsou extrémně mocné. A přirozeně maximalizují zájmy svých akcionářů. To je jejich základní logika.“
Je lepší mít malé procento v úspěšné firmě než velké procento v neúspěšné.
Zároveň ale upozorňuje, že není fér házet všechny firmy do jednoho pytle. Například Anthropic podle něj ukazuje jiný přístup. „To je firma, která si je vědoma rizik a snaží se s nimi pracovat. To není někdo, kdo by bezhlavě tlačil technologii ven bez ohledu na důsledky.“
Zajímavý je podle rektora i rozdíl mezi akademickým a firemním prostředím. „Když se podíváte na špičkové výsledky v AI, je jich dnes více v Americe než v Evropě. Ale když odečtete ty, které vznikají ve velkých firmách, najednou zjistíte, že evropské univerzity jsou na tom velmi dobře.“
Pak je tu ale citlivější otázka: Jak velký vliv mohou mít technologické firmy na akademické prostředí? Zvlášť ve chvíli, kdy univerzity čím dál častěji spolupracují s byznysem a nechávají se financovat. Nemohou peníze velkých technologických hráčů nepřímo ovlivňovat směr výuky nebo výzkumu?
„Zajímavá hypotéza. Neříkám, že to není možné – ale vlastně jsem neviděl žádné křiklavé případy, že by technologické firmy systematicky ovlivňovaly univerzity,“ říká Pěchouček.
Jako ilustraci uvádí spíše hypotetickou situaci: „Dokážu si představit, že by velký sponzor přišel a řekl: ‚Tohle téma nechceme, aby se tady zkoumalo.‘ Třeba výzkum rizik umělé inteligence. Ale myslím si, že by se jim to ani nevyplatilo – diskreditovalo by je to. A univerzity musejí mít etické kodexy, které spolupráci jasně definují. A hlavně musejí zůstat nezávislé – na firmách i na politicích.“
Michal Pěchouček
Tomáš Lébr
Zásadní je podle rektora též širší role univerzity ve společnosti. „Univerzita má být bezpečné místo pro otevřenou debatu. Mají se tam řešit i nepohodlná témata – a to bez ohledu na to, kdo je zrovna sponzor nebo kdo je u moci.“
S tím souvisí i jeden z hlavních cílů Michala Pěchoučka: chce proměnit fungování ČVUT v Praze tak, aby bylo mnohem těsněji propojené se společností. „Největší riziko je, že se univerzita uzavře sama do sebe a přestane být relevantní.“ Odmítá představu školy jako izolované „slonovinové věže“.
„To, že jsme tady byli tři sta let, neznamená, že tady budeme dalších tři sta let. Dneska se věci mění tak rychle, že něco ‚vysedět‘ může znamenat, že se stanete nevýznamnými a mimo hru.“
Podle něj musí univerzita aktivně reagovat na změny ve společnosti i technologiích. „Škola musí chápat, co se děje venku – v průmyslu, ve společnosti –, a musí to promítat do výuky, výzkumu i spolupráce.“
Podobně mluvil ve své inaugurační řeči, když se ujímal rektorského postu. Na slavnostní ceremoniál se sjely osobnosti napříč segmenty – včetně vrcholového byznysu. Což je v českém prostředí spíše neobvyklé – podobných událostí se tradičně účastní hlavně akademická obec.
Podle něj ale právě složení hostů dobře ilustruje to, kam chce univerzitu posunout: k mnohem těsnější spolupráci se soukromým sektorem.
Nakročeno má podle reakcí z praxe velmi dobře. „ČVUT má nového rektora, který se nebojí snít, své sny si drží třicet let a postupně je naplňuje. Věřím, že i ten další sen – posunout univerzitu minimálně mezi evropskou špičku – se stane realitou,“ řekla na místě například Hana Součková, generální ředitelka české pobočky SAP.
Podobně mluví i Alexandra Kala, CEO Profimedu: „Má přesně ten profil, který může ČVUT posunout k větší dynamice a modernosti. Jeho zvolení je mimořádně pozitivní zpráva pro českou vědu i vzdělávání – a tím pádem i pro ekonomiku.“ Při čtení těchto slov ale nový rektor spíš sklopí oči. „Krásně se to poslouchá. Ale dost to také svazuje. Je to ohromná zodpovědnost,“ říká.
Jak chce své plány naplnit? Jednou z klíčových cest je výraznější podpora startupů. Ty dnes často vznikají mimo univerzity, jako čistě podnikatelské projekty, podle něj by ale akademické prostředí mělo být jejich přirozenou součástí. „Chceme, aby bylo normální, že profesor nebo doktorand založí startup. Dneska to pořád není samozřejmost,“ říká.
Zároveň otevřeně přiznává, že současný systém tomu příliš nepřeje. „Pro vedoucího katedry je startup často problém. Má člověka, který dobře učí, potřebuje ho do výuky – a najednou ten člověk odejde zakládat firmu. A vedoucímu vznikne díra. Přirozená reakce je pak: radši ať ten startup nevznikne.“
Právě takový způsob uvažování chce rektor změnit. „Musíme otočit logiku. Společnost od nás nečeká jen výuku. Čeká tři věci: výuku, výzkum a transfer technologií. A startup je přesně ten transfer,“ vysvětluje.
Univerzity by podle něj měly aktivně podporovat vznik nových firem, nikoli je brzdit kvůli krátkodobým provozním problémům. „Když vidím, že někdo má potenciál postavit firmu, měl bych chtít, aby vznikla – a ideálně aby vznikly ještě další. Ne ho brzdit proto, že mi chybí ve výuce.“
České prostředí má ale širší problém: nedostatek odvahy riskovat. „Výzkumníci často sázejí na jistotu. Podávají projekty, které mají větší šanci projít, ale nejsou tak ambiciózní,“ říká.
Ještě kritičtější je podle něj situace v průmyslu. „Český průmysl se drží ještě víc při zdi než akademie. Firmy chtějí rychlá řešení – něco, co bude za tři měsíce hotové.“ Tím podle něj vzniká zásadní nesoulad.
Michal Pěchouček
Tomáš Lébr
„Univerzita je nastavená na řešení složitých problémů s horizontem pěti deseti let. Firma chce opravit konkrétní věc hned. Ty dva světy si často vůbec nerozumějí.“ Přesto v tom vidí velkou příležitost. „Máme tady silné firmy, schopné lidi. Klidně bychom mohli být Švýcarsko v inovacích. Ale musíme chtít řešit velké věci, ne jen malé úpravy.“
Univerzity by ale podle něj neměly startupy primárně podporovat kvůli penězům. „My neděláme startupy proto, abychom zbohatli. Děláme to proto, abychom naplnili očekávání společnosti. Ta od nás čeká nejen výuku a výzkum, ale i reálný dopad.“
Proto prosazuje takzvaný founder-friendly přístup. „Když si univerzita vezme ve startupu velký podíl, často ho tím zabije. Sníží jeho šanci uspět.“ Jeho logika je jednoduchá: „Je lepší mít malé procento v úspěšné firmě než velké procento v neúspěšné.“ Inspiraci hledá u špičkových evropských institucí, jako je ETH Zurich nebo Technical University of Munich. „Ty školy nechtějí startup vlastnit. Chtějí, aby uspěl. A když uspěje, tak z toho nakonec stejně něco mají – ale není to ten primární cíl.“
Michal Pěchouček je zejména díky své expertize v oblasti AI označován za vizionáře. Sám se téhle nálepce trochu brání, popisuje se střízlivěji: „Jsem člověk, který hodně přemýšlí o budoucnosti. Dívám se dopředu, dávám si věci dohromady.“ Přiznává ale, že i to má své limity. „Někdy se trefím, někdy ne. Častěji ale ano. A doma už jsou na mě proto trochu alergičtí,“ dodává s úsměvem. „Ale asi to k tomu patří.“
