Red Team: Microsoft выдает себя за хакеров для проверки уязвимостей искусственного интеллекта

Корпорация Microsoft заявила, что им необходимо укреплять доверие к искусственному интеллекту. Этого невозможно достичь без полного понимания тех изменений, которые вносит ИИ. В рамках исследовательской группы Microsoft по искусственному интеллекту, команда, состоящая из экспертов по кибербезопасности, нейробиологов и лингвистов – RedTeam, анализирует, как мошенники используют искусственный интеллект для обмана людей.

Проблема кибербезопасности приобретает все большее значение во всем мире, в том числе и в Казахстане. В 2023 году в стране было совершено более 223 миллионов попыток кибератак со стороны иностранных хакеров. При этом усилия по укреплению безопасности данных в стране активно продолжаются: Казахстан занимает 78-е место среди 176 стран в Национальном индексе кибербезопасности. Показатель индекса для страны составил 48,05% при максимально возможном значении 100%. Уровень цифрового развития среди населения был зафиксирован на уровне 60,18%.

По мере развития технологий искусственного интеллекта мошенники разрабатывают все более изощренные схемы, требующие инновационных методов предотвращения атак. Приложения, созданные на базе ИИ, такие как Copilot и ChatGPT, бросают вызов нашему традиционному пониманию кибербезопасности. Новым в этой области является необходимость более целостного подхода к обеспечению кибербезопасности. Для борьбы с мошенниками, использующими искусственный интеллект, уже недостаточно обладать только техническими знаниями. Иногда также необходимо понимать психологию человека и социальный контекст.

Microsoft создала команду Red Team, которая специализируется на использовании искусственного интеллекта для борьбы с киберпреступностью. Команда использует в своей работе широкий спектр мнений, в том числе мнения преступников. Блогер Microsoft Сюзанна Рэй подробно рассказывает о составе и задачах команды, созданной в 2019 году.

Команда, возглавляемая Рамом Шанкаром Шива Кумаром, объединяет нейробиологов, лингвистов, экспертов по национальной безопасности и других специалистов для оценки потенциального социального воздействия генеративного искусственного интеллекта на общество, помимо непосредственных проблем безопасности. Это важно, поскольку генеративный искусственный интеллект позволяет преступникам и мошенникам убедительно общаться на разных языках, незаметно манипулировать информацией или создавать очень реалистичные изображения, чтобы вводить людей в заблуждение и создавать социальные разногласия или напряженность.

"Кибербезопасность, ответственное использование ИИ и более широкое безопасное применение ИИ - это разные стороны одной медали, - говорит Шива Кумар. – Необходим комплексный подход "одного окна", поскольку это единственный способ получить всестороннее представление о рисках".

Шива Кумар сотрудничает с исследователями из программы Microsoft Aether, исследовательской инициативы, направленной на изучение этических и социальных последствий использования искусственного интеллекта. Вместе они исследуют, как модели ИИ — либо посредством преднамеренного вмешательства человека, либо в силу своей собственной внутренней логики — могут причинить вред, который остался незамеченным разработчиками и аналитиками.

“Наша работа охватывает широкий спектр потенциальных угроз, и мы подтвердили наличие нескольких из них, - объясняет Шива Кумар. – Мы быстро адаптируемся и часто корректируем свои стратегии – в этом мы видим залог успеха. Перемены не должны подталкивать нас к действию – мы должны предвидеть их”, - добавляет он.

Red Team не имеет прямых рабочих отношений с инженерами, разрабатывающими технологию искусственного интеллекта. Вместо этого она фокусируется на тех, кто ответственен за создание вредоносного, оскорбительного или предвзятого контента на основе систем ИИ с использованием ложных или неточных данных. Когда команда Red выявляет проблему, они уведомляют команду по измерению ИИ, которая оценивает потенциальную угрозу, исходящую от экосистемы. Затем внутренние эксперты проводят расследование и ищут решения для устранения проблемы.

Члены команды принимают разные роли, начиная от креативных подростков, которых интересуют только розыгрыши, и заканчивая преступниками, специализирующимися на краже и уничтожении данных, чтобы выявить слабые места в процессе разработки и выявить потенциальные риски. Члены команды набираются со всего мира и говорят на 17 различных языках, от фламандского и монгольского до телугу, чтобы помочь понять нюансы различных культурных особенностей и выявить конкретные угрозы в разных регионах. Они не только нацелены на взлом системы, но и используют большие языковые модели (LLM) для запуска автоматических атак на другие системы LLM.

Группа также продемонстрировала свой опыт, выпустив ранее в этом году инструменты с открытым исходным кодом (например, Counterfit и Python Risk Identification Toolkit для генеративного ИИ), которые стали доступны специалистам по безопасности и инженерам машинного обучения для использования при составлении карт рисков. Кроме того, команда делилась своими наработками с профессиональной аудиторией на различных мероприятиях.

“Мы недавно начали использовать генеративный ИИ и уже признали, что он предоставляет значительные преимущества. Однако существует недоверие к инструментам ИИ, что может помешать дальнейшему прогрессу. В ответ Microsoft мобилизовала значительные ресурсы для обеспечения контроля за разработкой и использованием искусственного интеллекта с целью сохранения положительного воздействия на общество и устранения негативных последствий”, – подчеркнула Рената Страздина, региональный технический директор Microsoft, резюмируя важность исследований в области кибербезопасности, проводимых в компании.