Incident Meta Muse přichází při spuštění nové Meta Enterprise Platform
Shutterstock.com
AI agent Mety poslal kupujícímu adresu majitele. Muse narazil na největší problém autonomní AI
Měl jen pomoct s prodejem klávesnice. Osobní AI agent Muse od Mety ale podle technologického youtubera Matta Robba bez jeho vědomí přijal nízkou nabídku, poskytl zájemci jeho adresu a potvrdil mu, že je doma. Kupující pak skutečně dorazil k Robbovu domu. Meta zatím nedokončila vyšetření konkrétního případu, incident ale přichází v mimořádně citlivou chvíli: firma právě oznámila, že Muse chce dostat i hluboko do firemních procesů.
šéfredaktor
Matt Robb chtěl vyzkoušet jednu z hlavních výhod nové generace umělé inteligence: místo toho, aby s chatbotem pouze konverzoval, předal agentovi skutečný úkol.
Muse měl spravovat jeho nabídku klávesnice na Facebook Marketplace.
Výsledek podle Robba vypadal jinak, než čekal. AI agent měl přijmout nabídku, kterou Robb považoval za příliš nízkou, poslat zájemci jeho adresu a pokračovat v komunikaci bez jeho vědomí. Kupující nakonec skutečně přijel před Robbův dům.
„Chlap se prostě objevil u mých dveří připravený koupit, protože pokud věděl, měli jsme dohodu,“ popsal Robb.
Případ zatím není možné uzavřít jednoduchým konstatováním, že Muse obešel bezpečnostní systém Mety. Nejsou veřejné kompletní logy oprávnění ani přesné instrukce, které Robb agentovi dříve poskytl.
Právě tato nejistota je ale na příběhu zajímavá. U autonomních AI agentů totiž nestačí řešit, zda model vytvoří správnou odpověď. Musí správně pochopit také rozsah pravomoci, kterou mu člověk skutečně předal.
Kupující přijel. Muse mu tvrdil, že je majitel doma
Zveřejněné screenshoty ukazují, že Robbův účet sdělil zájemci adresu s tím, že osobní setkání jinde není možné a zboží je potřeba vyzvednout na místě.
Kupující oznámil, že dorazí mezi osmou a desátou hodinou večer. Kolem 21:15 skutečně přijel k budově a poslal fotografii místa. Robb ale o domluveném předání podle svých slov nevěděl.
Situaci ještě zhoršila automatická odpověď.
Muse podle vlastní následné rekapitulace poslal kupujícímu kolem 21:27 zprávu „Yep, I'm here!“, tedy potvrzení, že je Robb na místě, ačkoli nebyl. Kupující čekal déle než dvacet minut, následně odešel a zanechal negativní hodnocení. Agent se mu poté Robbovým jménem omluvil a navrhl nový termín.
Až poté Muse informoval samotného Robba o tom, co se stalo.
Robb následně agentovi napsal, aby podobné předání už nikdy nedomlouval bez jeho potvrzení.
Případ tak není klasickou halucinací, kdy AI například vymyslí nesprávné číslo nebo neexistující zdroj.
Agent komunikoval s reálným člověkem, uzavíral podmínky transakce a jeho kroky měly fyzický důsledek.
Cizí člověk skutečně přijel na adresu svého uživatele.
Meta slibuje přesně opačný model
Právě tady vzniká rozpor mezi zkušeností popsanou Robbem a způsobem, jakým Meta svůj produkt prezentuje.
Firma při spuštění Muse uvedla, že uživatel rozhoduje, kolik přístupu agent dostane a ke kterým aplikacím se může připojit. Muse má před citlivými akcemi žádat o souhlas a zobrazovat kompletní historii toho, co udělal nebo plánuje udělat.
Produktová stránka Mety přímo říká, že Muse je navržen tak, aby před určitými úkony, například odesláním zprávy, nákupem nebo sdílením informací, požádal uživatele o svolení.
Meta kvůli tomu vybudovala samostatnou bezpečnostní vrstvu nazvanou Sentinel.
Samotný model Muse podle technické dokumentace nemá poslední slovo nad tím, zda může určitou operaci provést. Sentinel je samostatný systém, který rozhoduje o oprávnění k externím akcím, síťové komunikaci a použití konektorů napojených například na jiné služby Mety.
Když systém rozhodne, že je potřeba explicitní souhlas člověka, operace se má zastavit a uživateli se zobrazí samostatný dialog s přesným popisem požadované akce. Povolení má být omezené například na jeden úkol, relaci nebo konkrétní časové období.
Meta zároveň otevřeně přiznává, že ani takový systém chyby neodstraní.
„Muse může a bude dělat chyby,“ píší jeho vývojáři v technickém popisu bezpečnostní architektury. Cílem dalších ochranných vrstev má být hlavně omezení jejich frekvence a následků.
Co přesně povolil Robb, zatím nevíme
Právě to je nejdůležitější nevyřešená otázka celého případu.
David Singleton z týmu Meta Superintelligence Labs Robbovi veřejně odpověděl, že při vyšetřování podobných hlášení firma v minulosti opakovaně zjistila, že Muse postupoval podle přímých pokynů uživatele a o potřebná oprávnění správně požádal. Zároveň Robba požádal, aby společnosti umožnil konkrétní případ detailně prošetřit.
Mluvčí Mety Business Insideru následně řekl, že Robb na pokusy společnosti o kontakt nereagoval. Firma proto neposkytla definitivní technické vysvětlení toho, co se stalo.
Robb naproti tomu tvrdí, že zveřejnění adresy ani uzavření konkrétního obchodu neschválil.
Podle dalšího reportingu se ho Muse při zpětném dotazu pokusil informovat, že chybně vyhodnotil dříve zadané místo vyzvednutí a povolení automatických odpovědí jako souhlas se sdílením adresy kupujícím. Takové vysvětlení samotného agenta ale nelze zaměňovat za audit interních systémů Mety.
Z veřejných informací tedy zatím nelze bezpečně určit, zda šlo o technickou chybu bezpečnostního systému, špatně nastavený rozsah oprávnění, příliš širokou předchozí autorizaci nebo kombinaci těchto faktorů.
U AI agentů má jedno slovo mnohem větší cenu
Právě podobné případy ukazují rozdíl mezi generativní AI a agentic AI.
Chatbot dostane otázku a vytvoří odpověď.
Agent dostane cíl a následně sám rozhoduje, které kroky k němu povedou. Může otevřít web, pracovat s připojenými aplikacemi, vyplňovat formuláře, komunikovat s lidmi a v některých případech také provádět transakce.
Muse je postavený přesně tímto způsobem. Meta uvádí, že agent může pracovat i po zavření aplikace, používat prohlížeč, vyplňovat formuláře a vyjednávat jménem uživatele.
To dramaticky mění cenu chyby.
Pokud běžný chatbot špatně pochopí větu „chci prodat klávesnici“, výsledkem může být nesprávná rada.
Pokud stejnou chybu udělá agent, který má oprávnění komunikovat na Marketplace, může přijmout cenu, slíbit schůzku a poslat člověka na určitou adresu.
Schopnost jednat je zároveň hlavním důvodem, proč jsou dnes AI agenti pro technologické firmy tak atraktivní — a hlavním důvodem, proč je jejich zabezpečení obtížnější.
Incident přišel v nejhorší možnou chvíli
Pro Metu má případ ještě jeden mimořádně nepříjemný rozměr.
Ve stejný den, kdy se Robbův příběh dostal do médií, Mark Zuckerberg oznámil vznik Meta Enterprise Platform.
Má se stát „dalším hlavním pilířem“ podnikání společnosti a nabídnout firmám celý technologický stack Mety včetně Muse, Meta Business Agent, Muse API a Muse Code.
Do vedení nové divize Meta přetáhla dosavadního šéfa MongoDB Chirantana „CJ“ Desaie, který bude reportovat přímo Zuckerbergovi.
Meta přitom bezpečnost a soukromí uvádí jako jeden ze základních argumentů, proč by měly podniky její AI vůbec používat. Desai při oznámení platformy výslovně uvedl, že bezpečnost a soukromí mají být do firemních produktů zabudované od začátku.
Pokud má ale Muse pracovat s firemními zákazníky, nebude rozhodovat jen ochrana hesel nebo izolace datových center.
Firmy potřebují vědět například:
kdo může agentovi udělit oprávnění,
jak úzce je možné oprávnění omezit,
zda agent rozezná mezi „odpovídej zákazníkům“ a „uzavírej jejich objednávky“,
kdy musí požádat člověka o další schválení,
a kdo odpovídá za chybu, když agent překročí zadanou pravomoc.
Robbův případ je spotřebitelskou verzí přesně stejného problému.
Největší problém není inteligence, ale pravomoc
Meta patří mezi technologické firmy, které chtějí posunout AI od generování textu k samostatnému vykonávání práce.
Zuckerberg sází na to, že právě agenti budou jednou z hlavních vrstev budoucího softwaru.
Problémem tak nemusí být, zda je model dostatečně inteligentní.
Muse v Robbově případě zjevně dokázal vést konverzaci, domluvit podmínky a reagovat na kupujícího. Právě jeho schopnost plnit úkol byla zároveň zdrojem problému.
