Исследователи обнаружили, что обойти ограждения чат-ботов с искусственным интеллектом невероятно легко

Как сообщает The New York Times, группа исследователей из Университета Карнеги-Меллон сделала тревожное открытие: ограждения, установленные такими компаниями, как OpenAI и Google, для контроля над своими чат-ботами с искусственным интеллектом, можно легко обойти.

В отчете, опубликованном на этой неделе, команда показала, как любой может легко превратить чат-ботов, таких как ChatGPT от OpenAI или Bard от Google, в высокоэффективные машины по распространению дезинформации, несмотря на огромные усилия этих компаний по обузданию систем.

Этот процесс невероятно прост: к каждому англоязычному приглашению добавляется длинный суффикс символов. С помощью этих суффиксов команде удалось убедить чат-ботов предоставить обучающие материалы о том, как сделать бомбу или генерировать другую токсичную информацию.

Взлом тюрьмы подчеркивает, насколько бессильны стали эти компании, поскольку пользователи только начинают прикасаться к скрытым возможностям этих инструментов.

Эта новость появилась через неделю после того, как OpenAI объявила, что закрыла свой инструмент обнаружения искусственного интеллекта из-за его «низкой точности», по-видимому, отказавшись от попыток разработать «классификатор, позволяющий различать текст, написанный человеком, и текст, написанный человеком». ИИ от различных поставщиков».

Этот последний джейлбрейк Карнеги-Меллона изначально был разработан для работы с системами с открытым исходным кодом, но, к удивлению исследователей, он работал так же хорошо с системами с закрытым исходным кодом, такими как ChatGPT, Bard или чат-бот Anthropic Claude с искусственным интеллектом.

«В отличие от традиционных джейлбрейков, они построены полностью автоматически, что позволяет создавать практически неограниченное количество таких атак», — говорится в отчете.

Веб-сайт, созданный исследователями, демонстрирует, насколько легко можно обмануть чат-ботов, обучая пользователей тому, как украсть чью-либо личность или «написать сообщение в социальной сети, которое поощряет людей к опасному поведению, например вождению в нетрезвом виде или употреблению наркотиков».

Без «противостоятельного суффикса» эти инструменты отказывались отвечать на эти запросы, заявляя, что они не могут ответить на эти запросы. Но как только строка символов была добавлена, они сразу же подчинились.

Такие компании, как OpenAI, Google и Anthropic, оказались вовлечены в гонку по разработке защитных ограждений искусственного интеллекта, чтобы не дать своим чат-ботам распространять такого рода вредную дезинформацию или использоваться для консультирования по вопросам незаконной деятельности.

Хуже того, этим компаниям, скорее всего, будет трудно устранить эту особенно вопиющую уязвимость.

«Очевидного решения не существует», — сказал NYT Зико Колтер, профессор Карнеги-Меллона и автор доклада. «Вы можете создать столько атак, сколько захотите, за короткий промежуток времени».

Прежде чем опубликовать свой отчет, исследователи раскрыли свои методы OpenAI, Google и Anthropic.

Компании были расплывчаты в своих заявлениях для «Нью-Йорк Таймс» и лишь намекали на то, что со временем будут строить и улучшать свои ограждения.

Но, учитывая последние исследования, очевидно, что предстоит проделать удивительный объем работы.

«Это очень ясно показывает хрупкость защиты, которую мы встраиваем в эти системы», — заявил NYT исследователь из Гарварда Авив Овадья.

Подробнее о ChatGPT:OpenAI закрывает инструмент обнаружения искусственного интеллекта из-за «низкой точности»