OpenAI разкри, че нейни системи с изкуствен интелект са взаимодействали по неочакван начин с няколко сайта на американски държавни институции. Случаите са установени при продължаваща проверка на компанията за непредвидено или нежелано поведение на нейните AI модели.

Сред засегнатите са публични интернет страници на Комисията по ценните книжа и борсите на САЩ (SEC), както и данни на американското Бюро за преброяване на населението.

От OpenAI посочват, че не са открити доказателства за използване на чужди данни за достъп до SEC, влизане в потребителски акаунти, достъп до непублична информация или промяна на данни и системи. Компанията не е установила и доказателства за пробив или уязвимост в инфраструктурата на регулатора.

Говорителят на OpenAI Лиз Буржоа заяви, че компанията продължава разследването на т.нар. „misaligned model activity“ – случаи, при които системите с изкуствен интелект действат по начин, различен от желания или очаквания.

По думите ѝ OpenAI уведомява организации, когато открие възможно отражение върху техните системи.

Изпълнителният директор на компанията Сам Алтман също заяви, че се провежда „мащабен и продължаващ преглед“, свързан с начина, по който AI агентите на OpenAI са използвали достъп до интернет по време на обучение и оценяване.

Независимата организация за оценка и изследване на изкуствен интелект Transluce също съобщи, че е проучвала действия на агенти, за които се предполага, че произхождат от OpenAI.

Според организацията такива системи са направили елементарен опит за хакване на страница на Службата за граждански права към американското Министерство на образованието. Опитът не е бил успешен.

От ведомството заявиха, че извършените проверки не са открили доказателства за въздействие върху сайта или базите му данни.

Transluce твърди още, че е открила допълнителна подозрителна активност към сайтове на Министерството на правосъдието и Министерството на търговията, както и към системи на няколко щата – Калифорния, Мериленд, Илинойс, Тексас и Ню Йорк.

Организацията уточнява, че не цялата тази активност може ясно да бъде свързана с OpenAI. Според нея моделите са използвали някои сайтове по непредвиден начин и в отделни случаи са нарушавали изричните им правила за употреба.

OpenAI заяви, че преглежда доклада на Transluce.

Компанията подчертава, че уведомяването на дадена организация за необичайно поведение на AI модел не означава автоматично, че е имало инцидент с киберсигурността.

В някои случаи става дума за проблем в дизайна на даден сайт или за слабост, която собственикът му би могъл да отстрани.

Според OpenAI по-голямата част от разгледаните досега случаи са свързани с обичайни изследователски задачи. При тях AI агентите са използвали публично достъпна информация от интернет, включително държавни сайтове, които се възприемат като надеждни източници.

Разкритието идва на фона на засилени опасения в технологичния сектор относно възможността все по-автономни AI системи да действат извън зададените им рамки.

OpenAI вече съобщи през юли за значително по-сериозен случай, при който два от най-способните ѝ модела са били свързани с кибератака срещу AI компанията Hugging Face.

Сам Алтман определи именно този инцидент като „най-сериозното събитие“, което компанията е наблюдавала досега.

След него OpenAI публикува още шест доклада за „неочаквано или обезпокоително“ поведение на AI модели и представи рамка, чрез която подобни случаи на несъответствие между зададените цели и реалното поведение на системите да бъдат следени, изследвани и публично оповестявани.