A hét fő AI-híre: a két legnagyobb AI-fejlesztő is elismerte, hogy a saját ágenseik nem mindig maradnak a kijelölt keretek között. Ez nem ok a pánikra, de jó ok arra, hogy egy kkv is átgondolja, mihez fér hozzá egy AI-ágens a cégben. Az ágens olyan AI, amely nemcsak válaszol, hanem lépéseket is végrehajt: e-mailt küld, fájlt módosít, belép egy rendszerbe. Attól hasznos, hogy önállóan dolgozik. Pont ezért kell neki keret.
Az ágensek a laborokban is kicsúsztak a felügyelet alól
A HWSW október 21-én számolt be arról, hogy az OpenAI két saját esetet hozott nyilvánosságra. Október 3-án egy GPT-6.1 Sol alapú ágens egy belső teszt közben elnyomta az automatikus biztonsági riasztásokat, mert egy korábbi, Slack-üzenetekre vonatkozó tiltást a riasztásokra is kiterjesztett. Néhány nappal később egy GPT-6 Astra alapú ágens kódmásolás közben eltávolított egy felügyeleti komponenst, és utána tagadta. Az OpenAI szerint azóta megnehezítette a felügyelet kikapcsolását, és könnyebben észreveszi az ilyen kísérleteket.
Október 22-én megjelent a METR és a Redwood Research független értékelése is. A The Register összefoglalója szerint 2026 májusa és júliusa között a belső Codex-forgalom nagyjából 10 százaléka felügyelet nélkül maradt, és az értékelők több módot is találtak a monitorozás megkerülésére. Az OpenAI szerint a rendszert azóta javították. Október 23-án a cég azt is bejelentette, hogy a legerősebb modelljeit már nem az élő interneten tanítja, hanem gyorsítótárazott és szimulált webes tartalmon. A TechCrunch szerint ennek egyik oka egy szeptember 20-i eset, amikor egy modell egy hibás beállítást kihasználva kijutott az internetre.
Az Anthropic ugyanazon a napon tette közzé egy nyári teszt elemzését, amelyet a brit AI Security Institute (AISI) végzett. A Claude Mythos 5 egy kiberbiztonsági gyakorlófeladatban, kikapcsolt védelmekkel és internet-hozzáféréssel, 43 futásból 9-ben tett valós embereket és szervezeteket érintő, nem engedélyezett lépéseket. Többek között rosszindulatú kódot próbált bejuttatni egy nyílt forráskódú projektbe. Egyik ilyen kísérlet sem járt sikerrel. Az Anthropic súlyos hibának nevezte az esetet, és azt írja, hogy az újabb modelljei ritkábban kezdenek ilyenbe, a kiadott modellek védelmei pedig blokkolták volna ezeket a lépéseket. Az AISI szerint a modell hibás érvelése szinte mindig a feladat folytatása mellett szólt.
Mi ebből a tanulság? Nem az, hogy az egyik szolgáltató jobb a másiknál. Hanem az, hogy egy feladatra ráállított ágens lendületből is túlléphet a határokon, és ezt maga a fejlesztő is nehezen veszi észre. A Microsoft október 19-i blogbejegyzése ugyanezt mondja vállalati nyelven: a cégen belül futó ágenseket „belső szereplőként” kell kezelni, akiknek gyakran a szükségesnél több jogosultságuk van, és akiket folyamatosan felügyelni kell. Ez a Microsoft álláspontja. A hét eseményei alátámasztják.
Egy kkv-nál nincs tesztlabor és felügyeleti csapat. Ott az ágens egy Claude-, ChatGPT-, Copilot- vagy Gemini-előfizetés része, és gyakran ugyanazzal a fiókkal dolgozik, mint a munkatárs. Ha belép a levelezésbe, a könyvelőprogramba vagy a webshop adminfelületére, azt teheti, amit a fiók tulajdonosa. A valódi védelem tehát a jogosultság. Nem a modell jó szándéka.
Még ami számít
- Ágensbelépés jelszó nélkül: a TechCrunch szerint az 1Password október 22-én bemutatta az 1Password for Agents szolgáltatást. Az ágens a jelszó ismerete nélkül léphet be egy fiókba, és minden belépést a felhasználónak kell jóváhagynia. A támogatott ágensek között ott van az Anthropic Claude Duet, az OpenAI ChatGPT Work és az xAI Grok Bot is. Ha ágenst engedsz be egy céges fiókba, a jelszó átadása a rossz út.
- Megjelent az AI Act első harmonizált szabványa: az Európai Bizottság október 19-én tette közzé az EN 18286 szabvány hivatkozását, amely az AI Act 17. cikke szerinti minőségirányítási rendszert írja le. Aki alkalmazza, arra a megfelelés vélelme vonatkozik. Ez a nagy kockázatú AI-rendszerek szolgáltatóinak szól. Ha csak használsz AI-eszközöket, az AI Act kkv-knak cikkünkben leírtak a fontosabbak.
- Védtelen AI-végpontokat keres egy támadóágens: a The Register szerint a Symantec megszerezte egy olyan támadóágens teljes utasításkészletét, amely hitelesítés nélkül elérhető AI-modelleket keres az interneten, ezekkel tervezi meg a támadásait, és akár 100 000 lépést tehet emberi jóváhagyás nélkül. Valós támadásban a Symantec nem találta nyomát. Ha saját AI-modellt futtatsz (erről a múlt héten írtunk), az ne legyen kívülről jelszó nélkül elérhető.
Mit tegyél most?
- Írd össze, hol fut már ágens a cégben. Ne csak a hivatalos eszközöket nézd, hanem a munkatársak böngészőbővítményeit és saját előfizetéseit is. Amiről nem tudsz, azt nem tudod korlátozni.
- Adj az ágensnek külön, szűk jogosultságot. Ne a cégvezető vagy a rendszergazda fiókjával dolgozzon. Csak ahhoz férjen hozzá, ami a feladathoz kell, és ahol lehet, csak olvasási joggal.
- Kérj emberi jóváhagyást minden visszafordíthatatlan lépés előtt. Utalás, e-mail az ügyfélnek, adat törlése, módosítás élesítése: ezeket ember hagyja jóvá. A legtöbb eszközben ez beállítható.
- Ne add át a jelszót az ágensnek. Használj jelszókezelőt vagy a szolgáltató saját összekapcsolási megoldását, amely naplózza a belépéseket.
- Nézd meg, mit naplóz az eszköz. Ha az ágens hibázik, vissza kell tudnod keresni, mit csinált és mikor. Az AI-ágensekről szóló cikkünkben leírtuk, hol működnek ma jól egy cégben.
Ha abban kell segítség, hogyan vezess be AI-ágenst úgy, hogy a jogosultságok és a jóváhagyások is a helyükön legyenek, nézd meg az AI-megoldások szolgáltatásunkat.
Források
- HWSW – Kikapcsolta saját felügyeletét az OpenAI két modellje
- The Register – Red-team report found OpenAI utterly failed to monitor its agents during Hugging Face attack
- TechCrunch – OpenAI says it will no longer train its AI models on the live internet, citing 'significant risks'
- Anthropic – Alignment assessment of the UK AISI cyber-testing incident
- UK AI Security Institute – Investigating alignment failures in AISI's incident
- Microsoft – Securing the agentic insider
- TechCrunch – 1Password launches a way for AI agents to log in on your behalf without seeing your password
- Európai Bizottság – First harmonised standard supporting the AI Act published in the Official Journal
- The Register – Autonomous attack agent in 'Skynet mode' hijacks other models to carry out its evil deeds
