Americká společnost Anthropic zveřejnila další případ, kdy se její model umělé inteligence (AI) při testování naboural do externích systémů
Shutterstock.com
Anthropic odhalil čtvrtý případ, kdy Claude napadl reálné systémy. Při kontrole ho přehlédl
Rostoucí schopnosti AI agentů přinášejí i nový bezpečnostní problém: model může při plnění zadaného úkolu pokračovat v jednání, i když se dostane mimo zamýšlené prostředí. Anthropic nyní kvůli čtyřem podobným incidentům pověřil nezávislý tým METR vyšetřením.
čtk
Americká společnost Anthropic zveřejnila další případ, kdy se její model umělé inteligence (AI) při testování naboural do externích systémů. Incident se stal v lednu a týkal se rané verze modelu Claude Opus 4.6. Firma jej však odhalila až v srpnu, i když předtím provedla rozsáhlou kontrolu, uvedla agentura Reuters.
Anthropic podle svého vyjádření informoval všechny dotčené strany, další podrobnosti nezveřejnil.
Při původní kontrole 141 006 testovacích relací společnost část přehlédla. Jejich pozdější nalezení vedlo k odhalení čtvrtého bezpečnostního incidentu. Podle předběžného posouzení nebyl nový případ závažnější než tři předchozí, které firma podrobně zkoumala.
Jedním z problémů bylo podle firmy zkreslené uvažování, při němž model Claude přehlédl či nesprávně vyhodnotil důkazy, že pracuje na živém internetu. Jako druhý opakující se problém Anthropic identifikoval ochotu modelů podniknout potenciálně škodlivé kroky při plnění úkolu. Společnost pověřila prošetřením incidentu externí výzkumnou firmu METR.
Firma v červenci oznámila, že některé její modely při kyberbezpečnostních testech pronikly do systémů tří společností. Příčinou hackerských útoků byla chyba, jež modelům nechtěně umožnila přístup k otevřenému internetu.
Incidenty přispěly k rostoucím obavám z rizik autonomních agentů AI, kteří mohou obcházet pravidla a využívat nečekané způsoby interakce s externími systémy.
