Судя по январским сообщениям американских и британских компаний в области кибербезопасности, число моделей генеративного ИИ, работающих в первую очередь на преступников, будет только расти.
Киберпреступники все чаще используют открытые языковые модели ИИ как удобную базу для хакерских атак. Специалисты предупреждают, что компьютеры с установленными моделями ИИ с открытым исходным кодом можно легко захватить и использовать для рассылки спама, фишинга (выуживания конфиденциальных сведений) и дезинформации, обходя защитные механизмы крупных платформ ИИ.
Совместное исследование американских компаний Sentinel One и Censys длилось 293 дня и показало масштабы проблемы. Специалисты изучили тысячи языковых моделей и пришли к выводу, что значительная часть из них активно используется в незаконных целях. Среди зафиксированных случаев — взломы локальной сети, разжигание ненависти и травля, распространение жестокого контента, кража персональных данных, мошенничество, распространение материалов сексуального насилия над детьми.
Исследование охватило публично доступные модели ИИ, запущенные с помощью инструмента Ollama. Он позволяет разворачивать собственные версии больших языковых моделей ИИ. В их значительной части используются семейства Llama компании Meta, Gemma от Google Deep Mind и других разработчиков ИИ. Аналитики обнаружили сотни случаев, когда встроенные разработчиками ограничения и защитные механизмы в используемых моделях были намеренно удалены.
Специалисты смогли получить доступ к якобы защищенным системным подсказкам, то есть к инструкциям для поведения модели ИИ, примерно в четверти изученных установок на компах подобного ИИ. Из них 7,5 процента потенциально позволяли совершать вредоносные действия.
Sentinel One сравнила ситуацию с айсбергом, большая часть которого скрыта под водой. По словам руководителя направления разведки и исследований безопасности компании Хуана Сааде, разговоры об управлении рисками в сфере ИИ часто не учитывают огромный «избыточный потенциал» открытых моделей, который уже используется как в легальных, так и в откровенно преступных целях.
Руководитель Глобального центра управления ИИ Рейчел Адамс отмечает, что после начала эксплуатации открытых моделей ИИ ответственность за их дальнейшее использование становится общей для всех, включая разработчиков. Они, по словам Адамс, не могут отвечать за каждое злоупотребление, но обязаны заранее оценивать предсказуемый риск, документировать угрозы, оповещать о них и предлагать инструменты для снижения риска.
Meta не указала свою ответственность за злоупотребления открытыми моделями ИИ, но напомнила о существующих инструментах защиты и руководстве по ответственному использованию моделей Llama. Microsoft подчеркивает, что модели с открытым исходным кодом играют важную роль в развитии технологий, но при этом признала, что без надлежащих защитных механизмов они могут быть использованы злоумышленниками. Microsoft оценивает риск до выпуска моделей ИИ, отслеживает новые угрозы и считает, что ответственное развитие открытых технологий возможно только в союзе разработчиков, исследователей и специалистов по кибербезопасности.
В свою очередь, британский разработчик средств кибербезопасности Intruder предупреждает, что попасть впросак при использовании ИИ можно и без участия киберпреступников. Виной тому может стать стремление к комфортности и элементарная лень пользователя. Представьте ИИ-помощника, которому пользователь доверяет просмотр своей почты, календарь и браузер, и сам ИИ открывает сайты, нажимает кнопки и выполняет поручения.
Вроде удобно, пока не выясняется, что достаточно одной ошибки в настройке, и тот же ИИ-помощник начнет раздавать секреты пользователя всем желающим. Инженеры Intruder сообщили, что отслеживают ситуацию вокруг Clawdbot, проекта с открытым исходным кодом, который недавно переименован в Moltbot, и видят признаки активной эксплуатации его уязвимостей.
В результате неверной настройки в открытый доступ утекали API-адреса, аутентификация, целые файлы с учетными данными. Отдельная проблема связана с атаками через «внедренные инструкции», когда злоумышленник формулирует сообщение так, чтобы ИИ воспринял его как команду и сам выдал приватную информацию. Intruder утверждает, что подтвердил случаи, когда таким способом у хакеров оказывались содержимое почты и внутренняя системная информация, а ИИ-функции, маскируемые как полезные, негласно собирали конфиденциальные сведения.
Напрашивается логичный вывод: без специальной подготовки, причем основательной, использование ИИ-инструментов чревато большими неприятностями. В первую очередь это касается юзеров, прибегающих к популярным моделям ИИ из любопытства или от собственной лености. Именно такие пользователи становятся легкой добычей хакеров. Какой-нибудь Ваня или Ахмет и знать не знает, а его комп уже стал орудием в руках злоумышленников. Когда это выяснится, поди доказывай, что ты не верблюд…