Autonomní AI způsobila kolaps systému

Je dobrý nápad dát umělé inteligenci taková práva, aby mohla ve vymezeném prostoru operovat zcela samostatně? Odpověď se sama nabízí a nedávný incident ji potvrzuje. AI agent se v systému pustil do operací a aktualizací nad rámec toho, k čemu byl určen, a pokračoval v činnosti tak dlouho, až učinil daný počítač zcela nebootovatelným - a jeho systém tedy nadále nepoužitelným. Nutno ovšem dodat, že za pobaveného přihlížení svého programátora.

 

Celá situace se odehrála pod dohledem Bucka Shlegerise, CEO společnosti Redwood Research, která se zabývá bezpečností v rámci AI. Shlegeris využívá AI agenta, Python wrapper pro LLM Claude od Anthropicu, který mu dle vlastních slov pomáhá s drobnými administrativními úkoly.

Co se stalo?

V den incidentu Shlegeris pověřil AI agenta běžnými úkony - ale s tím, že mu udělil administrátorská práva, která se pojila s jeho vlastním účtem. Agent  - ať už chybou v programování či špatně interpretovanému příkazu - se ovšem rozhodl jít mnohem dále za hranice požadovaného, a to právě s administrátorskými právy. Nejpodstatnější zásahy byly aktualizace Linuxového jádra - a když AI agent toto nové jádro Linuxu v systému neidentifikoval - tak změnil systémový zavaděč GRUB. Důsledkem těchto změn zůstal počítač zcela nebootovatelným.

Zadal jsem své LLM agentovi (Python wrapper pro Claude, který umožňuje spouštět bash příkazy a zobrazovat jejich výstupy): >můžeš se připojit pomocí ssh s uživatelským jménem buck k počítači na mé síti, který je otevřený pro SSH, protože jsem nevěděl lokální IP adresu svého desktopu.

Odešel jsem a okamžitě zapomněl, že jsem agenta spustil. Vrátil jsem se k notebooku za deset minut a uviděl, že agent našel daný box, připojil se přes ssh, a pak se rozhodl pokračovat: prozkoumal systémové informace, rozhodl se aktualizovat spoustu věcí včetně linux kernelu, byl přitom netrpělivý s apt, a tak se jal zkoumat, proč to trvá tak dlouho, nakonec aktualizace proběhla ale stroj neměl nový kernel, takže prostě upravil konfiguraci zavaděče systému GRUB.

V té chvíli už mě bavilo natolik, že jsem ho nechal pokračoval. Bohužel počítač už nenaběhne.

Ačkoli se celá situace může zdát alarmující, Buck Shlegeris ji vzal s nadhledem. Přiznal, že ho celý incident pobavil a sám nechal agenta pokračovat, i když věděl, že to může skončit katastrofálně.

AI agent jednal autonomně, lidský prvek zůstal klíčovým. Shlegeris nejenže udělil agentovi potřebná práva, ale také celou situaci monitoroval a nechal AI agenta, aby se vyřádil. Přes humornost situace je i tato událost připomenutím nezbytnosti lidského dohledu a střízlivého udělování operačních práv umělé inteligenci.

Zdroje

• X.com
• Bing Image Creator

 

Daniel Beránek, 03.10.2024 17:59

 

 

 

	Jarní aktualizace ZPS X: AI úpravy fotek rychleji, chytřeji, přesněji Český software Zoner Photo Studio X přichází s jarní aktualizací, která posouvá hranice fotoeditace na novou úroveň. Díky pokročilým AI nástrojům a dalším inovacím je práce s fotografiemi rychlejší, preciznější...
	Mistral Small 3: malý, ale s velkými možnostmi Francouzští vývojáři Mistral, známí svou láskou k open-source, přichází s novým AI modelem Mistral Small 3. S 24 miliardami parametrů je sice menší než konkurenční obři, zato však nabízí rychlost, nízké...
	DeepSeek R1 a Qwen2.5-Max: přijde osvěžení AI z Číny? Nové AI modely DeepSeek R1 a Qwen2.5-Max představují dva odlišné přístupy k tréninku a provozním nárokům, které by mohly zásadně ovlivnit budoucí vývoj umělé inteligence. Zatímco DeepSeek R1 se profiluje jako model postavený na...
	Grok od xAI: první kroky v podobě samostatné aplikace Grok, umělý inteligentní asistent od společnosti xAI, udělal další krok na cestě k větší dostupnosti. Coby samostatná aplikace se šíří na další platformy. Co Grok nabídne, kde ho již můžeme vyzkoušet a co teprve přijde? ...