Microsoft находит лазейку в DALL-E 3 от OpenAI, позволяющую генерировать неподобающий контент

Шейн Джонс, менеджер по программной инженерии в Microsoft, недавно раскрыл критическую уязвимость в модели генерации изображений DALL-E 3 от OpenAI, которая позволяет пользователям обходить меры безопасности и генерировать неподобающие изображения.

Это открытие вызывает этические опасения и подчеркивает продолжающиеся проблемы создания безопасных и ответственных систем ИИ.

Microsoft находит лазейку в DALL-E 3 от OpenAI

Джонс независимо обнаружил уязвимость в декабре 2023 года и первоначально сообщил об этом в Microsoft. Джонсу посоветовали обратиться напрямую в OpenAI, но когда он не получил ответа.

Он escalated свои опасения к сенаторам США, представителям и генеральному прокурору штата Вашингтон. В своем заявлении он подчеркнул потенциальную возможность создания насильственных и разрушительных изображений.

Чтобы предотвратить эксплуатацию, природа уязвимости не была раскрыта, однако сообщения утверждают, что это включает манипуляцию подсказками или использование определенных ключевых слов для обхода мер безопасности.

Потенциальное воздействие значительное, с этическими проблемами и юридическими последствиями вокруг возможности генерации вредоносного контента.

Как Microsoft, так и OpenAI признали проблему. OpenAI быстро отреагировала, предоставив решение в течение 24 часов после уведомления.

Они выразили свою приверженность безопасности и продолжающимся усилиям по улучшению безопасности своих моделей. Microsoft подтвердила отчет Джонса, но не уточнила детали внутренних обсуждений.

Недавние события в деле включают утверждение Джонса о том, что Microsoft сначала пыталась замять его опасения, подталкивая его к обращению к властям.

Тем не менее, Microsoft это отрицает, утверждая, что они следовали установленным протоколам и уважали право Джонса обратиться с проблемой в другое место.

Инцидент вновь поднял вопросы о управлении ИИ, прозрачности и ответственности. Эксперты выступают за улучшение мер безопасности, открытое общение и совместные усилия по снижению рисков, связанных с мощными системами ИИ.

Смотрев в будущее, инцидент подчеркивает важность ответственной разработки и внедрения ИИ.

Открытое общение и сотрудничество между исследователями, разработчиками, политиками и широкой общественностью считаются необходимыми для решения сложных этических вопросов и поддержки безопасного и полезного использования технологий ИИ.

Постоянное совершенствование мер безопасности, мониторинг и обучение пользователей будут необходимы для решения возникающих уязвимостей и потенциального злоупотребления мощными системами ИИ. Этот полный обзор основан на общедоступных данных по состоянию на 1 февраля 2024 года.

В целом, по мере развития событий и появления дополнительных деталей история может измениться. Для получения дополнительной информации смотрите GeekWire, Microsoft, OpenAI и The New York Times.

Мы будем продолжать внимательно следить за ситуацией и предоставлять обновления по мере их появления. Пожалуйста, свяжитесь с нами, если у вас есть какие-либо вопросы или вам нужна дополнительная информация.