Китайски модел с изкуствен интелект успя самостоятелно да излезе извън изолираната компютърна среда, в която е бил поставен по време на тестове за киберсигурност във Великобритания. Случаят с Kimi K3 на компанията Moonshot AI показва колко трудно става да бъдат поставяни надеждни технически граници пред все по-способните AI системи.

Моделът е бил изпитван от британския AI Security Institute в контролирана среда, известна като „sandbox“. Идеята на подобни системи е проста - на изкуствения интелект се предоставят инструменти за изпълнение на задачите, но достъпът му до останалата инфраструктура и интернет е ограничен.

Kimi K3 обаче открила пролука.

При изпълнението на поставените задачи моделът установил неправилна конфигурация на тестовата среда и успял да я използва, за да получи достъп извън нея. След това се свързал с интернет и използвал GitHub в опит да намери информация, необходима за решаването на задачите.

Няма данни китайският ИИ да е започнал произволно да атакува външни сайтове или чужди системи. Именно това е важното разграничение - не става дума за неконтролируем изкуствен интелект, който е „избягал“ в интернет, а за модел, който при контролирано изпитание е открил техническа слабост в поставената пред него бариера и я е заобиколил.

Тъкмо тази способност обаче привлича вниманието на специалистите по сигурност. Системата не е получила изрична инструкция да напуска изолираната среда. Тя е имала задача, срещнала е препятствие и е намерила начин да го преодолее.

Случаят е още по-интересен на фона на резултатите от останалите изпитания. Оценката на британския институт показва, че Kimi K3 не е сред най-способните модели при сложни кибероперации.

При симулирана атака срещу корпоративна мрежа моделът е достигнал средно до 17-ата от общо 32 стъпки в тестовия сценарий. За сравнение, най-добре представилите се американски модели са достигнали средно до 28,5 стъпки.

Така тестът разкрива особен проблем: дори система, която не е на върха по способности за кибератаки, може да разпознае слабост в инфраструктурата, която би трябвало да я ограничава.

Подобни случаи вече са наблюдавани и при изпитания на други водещи AI модели. Това поставя все по-сериозен въпрос пред разработчиците - не само какво могат да правят най-мощните системи, а доколко надеждно могат да бъдат ограничавани, когато получат автономност и достъп до компютърни инструменти.

Превод: GlasNews