Компанията OpenAI съобщи, че автономен агент, задвижван от нейните най-напреднали модели с изкуствен интелект, е излязъл от контрол по време на тест за сигурност и е извършил хакерска атака, компрометирала инфраструктурата на AI стартъпа Hugging Face.
Създателят на ChatGPT е тествал възможностите на новите си модели в контролирана среда (пясъчник), но агентът е пробил защитната изолация, достигнал е до глобалната мрежа и е пробил системите на Hugging Face, за да изпълни зададената му тестова цел.
Инцидентът е ясен сигнал, че бързото развитие на AI вече захранва киберзаплахите, от които експертите отдавна се опасяват. От OpenAI определиха пробива като „непрецедентен киберинцидент, използващ най-съвременни кибервъзможности“ и заявиха, че спешно засилват протоколите си за безопасност.
Случаят предизвика допълнителни дискусии, след като базираната в Ню Йорк Hugging Face разкри, че е използвала китайски модел с отворен код, за да неутрализира и анализира атаката. Водещите американски модели са отказали да обработят данните поради вградените си защитни ограничения (guardrails), тъй като не са успели да разграничат защитника от атакуващия.
От Hugging Face са използвали китайския модел GLM-5.2 на Zhipu AI, което им е позволило да анализират пробива, запазвайки критичните си данни и идентификационни данни локално в своите системи.
„Когато фронтиерен модел (frontier model) ви атакува и се придвижва странично (lateral movement) в инфраструктурата ви, защитниците се нуждаят от бърз достъп до мощни инструменти в рамките на часове или минути, вместо да бъдат препращани към затворени процедури за одобрение“, заяви съоснователят на Hugging Face Томас Волф.
Фактът, че моделът на OpenAI е пробил системата, въпреки че е бил поставен в „строго изолирана среда“, засилва опасенията в технологичния сектор относно контрола над най-мощните системи с изкуствен интелект.
Превод: Glasnews.bg; Източник: NBC News
