Вторжение искусственный интеллект как инструмент кибербезопасности Компания Mozilla совершила значительный шаг вперед благодаря сотрудничеству с Anthropic над браузером Firefox. Всего за пару недель модель искусственного интеллекта смогла обнаружить ряд уязвимостей в открытом браузере Mozilla, для обнаружения которых обычно потребовались бы месяцы специализированной работы человека.
Этот эксперимент оказал непосредственное влияние на Пользователи Firefox в Испании и остальной ЕвропеЭто позволило оценить, насколько далеко сегодня могут зайти языковые модели в области аудита реального кода и какую роль они могут играть в защите программного обеспечения, используемого сотнями миллионов людей ежедневно.
Когда ИИ станет лучшим аудитором безопасности
В сфере безопасности программного обеспечения обнаружение уязвимости до того, как её обнаружат злоумышленники, имеет решающее значение: это может означать разницу между… защитить миллионы пользователей или раскрыть их данныеВ этом контексте Mozilla протестировала необычный подход: позволила продвинутому искусственному интеллекту проанализировать исходный код браузера, чтобы обнаружить уязвимости раньше исследователей или киберпреступников.
За несколько недель до запуска Firefox 148Команда безопасности браузера получила поразительный отчет: Команда «Антропический рубеж Красная» Внутренняя исследовательская группа компании, занимающаяся наступательными операциями, заявила, что с помощью своей модели Клода обнаружила следующее: более десятка подтвержденных уязвимостей безопасности в движке JavaScript Firefox. Это были не просто подозрения, а ошибки, подтвержденные конкретными доказательствами.
От других попыток использования ИИ в этой области его отличало качество отчетности. Каждая уязвимость была подтверждена документами. минимальное количество воспроизводимых тестовых примеровЭто были небольшие фрагменты кода, способные детерминированно активировать уязвимость. Это позволило инженерам Mozilla в течение нескольких часов проверить, действительно ли существует проблема, и начать работу над исправлениями, не тратя время на воспроизведение неоднозначных сценариев.
В экосистеме, где множество оповещений, генерируемых автоматизированными инструментами, в конечном итоге оказываются в мусорном ведре, потому что они не используются должным образом. ложноположительные результаты или неточные отчетыПодход компании Anthropic значительно снизил уровень шума и предоставил полезный сигнал: меньший объем, но подтвержденные и применимые на практике результаты.
Что такое команда Anthropic's Frontier Red Team и как она взаимодействует с Клодом?
Вызов Команда «Красные фронтира» Это подразделение компании Anthropic, занимающееся изучением пределов возможностей моделей искусственного интеллекта в области наступательной и оборонительной безопасности. Его цель — не только оценить внутренние риски в моделях, но и исследовать их. Как можно использовать ИИ для поиска уязвимостей в реальном программном обеспечении? прежде чем это сделают злоумышленники.
В последние месяцы эта команда продемонстрировала, что такие модели, как... Клод Опус 4.6 может бежать многоэтапные атаки на сложные сети в контролируемых средахЭто дает представление об их аналитических возможностях. Эти же возможности были скоординированно и ответственно перенаправлены на проверку проектов с открытым исходным кодом, таких как Firefox, в рамках ответственных процедур раскрытия уязвимостей.
В конкретном случае с браузером Mozilla компания Anthropic начала с тестирования: использования Claude для Воспроизведение исторических уязвимостей Firefox (CVE)Мы проверили, способна ли модель распознавать закономерности ошибок, уже задокументированные в более старых версиях кода. Результат оказался положительным, хотя и с одной явной оговоркой: часть этой информации может содержаться в обучающих данных модели.
Чтобы пойти дальше, команда Frontier Red Team перешла к самому интересному шагу: они попросили ИИ определить местоположение. В текущей версии Firefox обнаружены новые уязвимости.То есть, речь идет об ошибках, которые еще не были внесены ни в одну общедоступную базу данных или во внутренние системы отслеживания Mozilla.
Как были обнаружены уязвимости в JavaScript-движке Firefox.
Отправной точкой послужил JavaScript-движок браузера, критически важный компонент, поскольку он отвечает за Выполнение ненадежного внешнего кода с веб-страницЛюбая ошибка на этом уровне в худшем случае может стать лазейкой для атаки на систему пользователя.
Как пояснили компании Anthropic и Mozilla, Клод обнаружил свою первую серьезную уязвимость примерно через двадцать минут. С самого начала анализа это был провал такого рода. использовать после освобожденияЭто категория уязвимостей памяти, которая может позволить злоумышленнику перезаписывать данные произвольным содержимым, если она сочетается с другими системными недостатками.
Пока инженеры Anthropic проверяли это первоначальное предупреждение в виртуальной машине с последней версией браузера, искусственный интеллект продолжал работать параллельно. За это время модель уже выдала предупреждение. приблизительно 50 дополнительных входных сигналов с аномальным поведениемМногие из них впоследствии превратились в тестовые примеры, которые были отправлены в Mozilla.
Процесс не ограничивался только движком JavaScript. В течение примерно двух недель Клод проводил анализ. почти 6.000 файлов C++ и тысячи дополнительных файлов проекта.Было сгенерировано 112 уникальных отчетов. Из этого набора после анализа командой безопасности Mozilla были подтверждены следующие. Зарегистрировано 22 уязвимости, обозначенные как CVE.из которых 14 были классифицированы как имеющие высокую степень тяжести.а также почти 90 дополнительных сбоев, которые считаются менее значимыми или просто логическими ошибками.
Все выявленные проблемы безопасности были исправлены в цикле разработки Firefox 148.Эта версия теперь доступна пользователям в Европе и остальном мире. Исправлены также ошибки с более низким приоритетом, хотя некоторые корректировки были отложены до последующих версий, чтобы избежать внесения слишком большого количества изменений в одном релизе.
Обнаружено более 100 ошибок и меньше ложных срабатываний, чем у других систем искусственного интеллекта.
В ходе этого сотрудничества анализ Клода дал следующие результаты: Более 100 различных ошибок FirefoxХотя не все из них оказались уязвимостями, которые можно было использовать, этот сборник демонстрирует, что даже в зрелых и проверенных проектах, таких как браузер Mozilla, может скрываться значительное количество ошибок.
Чтобы дать представление о масштабе последствий, команда безопасности Mozilla объяснила, что всего за две недели тестирования ИИ смог... Выявление ряда серьезных уязвимостей, эквивалентных примерно 20% всех критических уязвимостей, исправленных в браузере за год.Иными словами, аудит с использованием ИИ позволил сократить до нескольких дней задачу, которая обычно растягивается на многие месяцы.
Ключевым аспектом был уровень ложных срабатываний. Многие проекты с открытым исходным кодом, в том числе и европейские, в последние годы получали ложные срабатывания. волны отчетов, сгенерированных низкокачественными инструментами искусственного интеллекта.Эти сообщения часто отправляются пользователями, стремящимися получить вознаграждение в рамках программ по поиску уязвимостей. Они перегружают разработчиков информацией о несуществующих или плохо описанных проблемах.
Компания Mozilla, зная об этой ситуации, изначально с осторожностью относилась к сотрудничеству. Однако подход команды Frontier Red оказался иным: На рассмотрение были представлены только те решения, которые сопровождались вескими доказательствами.с четким автоматическим воспроизведением и, в некоторых случаях, с предложениями по исправлению ошибок, сгенерированными самим ИИ и проверенными людьми.
Инженеры Mozilla выделили три элемента, которые, по их мнению, имеют решающее значение для доверия к отчетам, основанным на искусственном интеллекте: минимальное количество тестовых примеров, подробные концептуальные доказательства и предлагаемые исправления.Такое сочетание методов значительно сокращает время, необходимое для подтверждения того, заслуживает ли обнаруженная проблема немедленного внимания или может быть отложена.
Может ли ИИ использовать обнаруженные им уязвимости?
Одним из самых деликатных моментов эксперимента было выяснить, способен ли Клод не только на... найти уязвимостино также превратить их в функциональные эксплойтыТо есть, речь идет об атаках, способных совершать вредоносные действия в отношении целевой системы.
Компания Anthropic решила измерить эту возможность в контролируемой среде. Команда предоставила модели информацию об уязвимостях, уже сообщенных Mozilla, и попросила ее сгенерировать эксплойт-код с целью чтение и запись локального файла В тестовой машине это действие в реальных условиях означало бы серьезную компрометацию системы.
Для достижения этой цели было проведено несколько сотен отдельных сделок, и инвестировано около [недостающая сумма]. 4.000 долларов США в виде кредитов APIРезультат оказался неоднозначным: Клоду удалось лишь создать... Два простых способа, которые сработают.И все же это произошло только в среде, где ряд средств защиты, присутствующих в современных браузерах, таких как песочница и другие меры повышения уровня безопасности, были преднамеренно отключены.
Mozilla подчеркивает, что в реальных условиях для взлома Firefox обычно требуется объединение множества уязвимостей и обход нескольких уровней защитыОбнаружение одной-единственной уязвимости, даже очень серьезной, редко бывает достаточным для получения контроля над системой пользователя, что в настоящее время ограничивает прямой наступательный потенциал этих инструментов.
Тем не менее, Anthropic считает важным тот факт, что языковая модель способна, пусть даже лишь в немногих случаях и при ограниченных условиях, на автоматически сгенерировать эксплойт для современного браузераКомпания предупреждает, что этот разрыв — разница между обнаружением и использованием уязвимостей — может сократиться по мере дальнейшего совершенствования моделей и методов оценки.
Mozilla интегрирует искусственный интеллект в свои протоколы безопасности.
Вслед за успехом сотрудничества, Компания Mozilla подтвердила, что интегрирует анализ с помощью искусственного интеллекта в свой стандартный рабочий процесс обеспечения безопасности. для Firefox. Команды фонда уже начали внутренние эксперименты с Клодом для сортировки ошибок, проверки патчей и выявления уязвимостей в критически важных областях кода.
Организация, имеющая значительное присутствие пользователей и разработчиков в Европе, рассматривает эту технологию как способ... усилить защиту конфиденциальности и безопасностиЭто основные принципы, составляющие основу идентичности проекта Firefox. Будучи браузером с открытым исходным кодом, его код доступен для проверки как независимыми исследователями, так и автоматизированными агентами, такими как собственный ИИ Anthropic.
Для Mozilla ключевым моментом будет поддержание баланс между автоматизацией и человеческой проверкойХотя модели искусственного интеллекта могут ускорить обнаружение ошибок и предложить исправления, фонд настаивает на том, что любое обновление — будь то созданное человеком или машиной — должно пройти одинаковый уровень технической проверки, прежде чем быть интегрированным в браузер, используемый гражданами Европы и остального мира.
Этот опыт также послужил практическим руководством для других программных проектов, в том числе разработанных в Испании или в Европейском Союзе: если отчеты, созданные на основе ИИ, должны быть приняты, целесообразно предъявлять к ним соответствующие требования. явные доказательства воспроизводимости и создать специальные каналы для такого рода раскрытия информации, избегая перегрузки традиционных систем отслеживания ошибок.
Уроки для разработчиков и технологических компаний в Европе
Помимо медийного ажиотажа вокруг Firefox, сотрудничество между Anthropic и Mozilla позволяет сделать ряд важных выводов для стартапы, технологические малые и средние предприятия и крупные европейские компании которые разрабатывают собственное программное обеспечение или цифровые услуги.
Один из самых очевидных выводов заключается в том, что Аудит кода с использованием искусственного интеллекта стал экономически целесообразным.То, что раньше требовало работы команды специалистов в течение нескольких недель, теперь можно автоматизировать и провести за считанные часы или дни, при этом затраты будут значительно ниже, чем при тщательном ручном анализе.
Ещё один урок заключается в том, что Скорость обнаружения начинает опережать возможности человека по коррекции.Такие инструменты, как Claude, позволяют быстро обнаружить десятки потенциальных уязвимостей, но узким местом становится способность внутренних команд проверять, расставлять приоритеты и устранять эти проблемы, не нарушая работу других частей системы.
Также очевидно, что Открытый исходный код не является синонимом гарантированной безопасности.Однако у него есть одно существенное преимущество: прозрачность. Такие проекты, как Firefox, очень популярные в Европе благодаря своей ориентации на конфиденциальность, позволяют как сообществу, так и автоматизированным агентам постоянно проверять код, что невозможно в закрытых решениях.
Для многих организаций интеграция ИИ в процесс разработки — например, путем включения автоматизированной аналитики в этапы CI/CD — может стать сложной задачей. отличительный фактор при демонстрации соответствия нормативным требованиямЭто становится все более актуальным в связи с будущим применением европейских стандартов в области кибербезопасности и критически важного программного обеспечения.
В то же время этот случай служит напоминанием о том, что злоумышленники также имеют доступ к аналогичным технологиям. В настоящее время преимущество, похоже, на стороне обороны.Искусственный интеллект лучше справляется с поиском и исправлением недостатков, чем с их использованием, но никто не считает само собой разумеющимся, что это преимущество сохранится на долгие годы.
В этой ситуации менеджеры по безопасности в европейских компаниях — от банков до платформ электронной коммерции и цифровых сервисов — начинают рассматривать эти инструменты не как экспериментальное дополнение, а как нечто большее. еще один элемент их стратегии защиты программного обеспечения.
Скандалы с Firefox и Anthropic демонстрируют, как хорошо управляемая и контролируемая модель ИИ может выступать в роли первоклассного аудитора безопасности: она способна анализировать большие кодовые базы, выявлять сложные ошибки и очень быстро предлагать решения. В то же время, это ясно показывает, что окончательное решение по-прежнему остается за командами людей, которые должны решить, что именно нужно исправлять, как и с какими приоритетами, в условиях, когда темпы развития программного обеспечения и угроз продолжают ускоряться.
