Как ИИ может лишить правительства хакерских инструментов

Профессор криптографии Мэтью Грин в августе опубликовал спорный пост в блоге и серию сообщений на X, ставшие вирусными в сообществе кибербезопасности. В них он предупредил, что развитие ИИ может сделать программное обеспечение слишком безопасным, и выразил обеспокоенность, что правительство США потеряет доступ к уязвимостям, используемым для взлома целей.

Грин, который долгое время был близким наблюдателем дебатов вокруг использования хакерских инструментов правительствами для борьбы с преступностью и необходимости сильного шифрования для защиты конфиденциальности невинных людей, выдвинул провокационную мысль: Что, если ИИ сделает ошибки настолько скудными, что правоохранительные органы и спецслужбы больше не смогут законно взламывать преступников?

«Я обеспокоен тем, что ИИ сделает программное обеспечение слишком безопасным», — написал Грин, предупредив, что правительство США может потерять доступ к недостаткам безопасности для взлома целей, которые им необходимо отслеживать, поскольку компании исправляют беспрецедентный объем ошибок.

Правоохранительные органы уже давно утверждают, что шифрование затрудняет поимку преступников и террористов. Концепция «темнеть» была популяризирована в 2014 году, когда тогдашний директор ФБР Джеймс Коми предупредил, что шифрование может помешать властям прослушивать разговоры или получать доступ к данным на устройствах.

Примерно в это время такие приложения, как Signal, WhatsApp и iMessage от Apple, развернули сквозное шифрование для широких масс, что сделало традиционное прослушивание звонков и текстовых сообщений в режиме реального времени практически невозможным. Технические гиганты, такие как Apple, также начали делать данные на своих устройствах зашифрованными по умолчанию, что затрудняет взлом iPhone, защищенных сильным PIN-кодом или парольной фразой.

С тех пор власти по-прежнему могут ловить преступников, в том числе путем взлома их устройств, а невинные люди могут наслаждаться хорошим уровнем конфиденциальности благодаря шифрованию. Отчасти, как объясняет Грин, это связано с «непростым перемирием». То есть вместо того, чтобы включать бэкдоры в устройства, чтобы помочь властям получить данные, правительства вместо этого инвестировали деньги в покупку хакерских инструментов и шпионских программ, которые могут подорвать безопасность устройств и их владельцев.

Для Грина это перемирие вот-вот будет нарушено ИИ, потому что, как обещают сторонники и предполагают некоторые ранние данные, LLM становятся лучше и быстрее в поиске уязвимостей безопасности в масштабе. Теоретически это говорит о том, что мы дойдем до точки, когда компании смогут сделать свое программное обеспечение и системы значительно менее подверженными ошибкам и склонными к атакам.

Конечный результат, согласно Грину, заключается в том, что правительства могут снова попросить бэкдоры, делая устройства каждого менее безопасными по дизайну.

Почему ИИ угрожает перемирию в кибербезопасности?

Мы попросили нескольких людей прислушаться к аргументу Грина, от экспертов по конфиденциальности и кибербезопасности до хакеров, у которых есть опыт разработки хакерских инструментов для правительств. Некоторые соглашаются с Грином, некоторые не соглашаются, а некоторые видят в этом оба пути.

Луна Тонг, исследователь, который ранее работал в двух известных компаниях, которые ищут баги и разрабатывают эксплойты, чтобы помочь правительствам ворваться в системы, согласилась с Грином, заявив, что сейчас существует «золотая лихорадка багов, но это временное явление, и баги скоро снова станут дефицитными».

Другой исследователь, имеющий более чем десятилетний опыт работы в наступательных охранных фирмах, сказал, что он обеспокоен тем, что ИИ может сделать исследователей безопасности человека устаревшими, потому что будет гораздо труднее найти ошибки, и что защитники в конечном итоге получат преимущество над наступательными исследователями. Человек просил не называть его имени, чтобы он мог говорить более свободно.

«Ясно, что ни одно государство не откажется от возможности наблюдения», — сказал Паоло Станьо, главный технический директор Crowdfense, известной компании, которая разрабатывает, приобретает и продает неизвестные уязвимости, также известные как нулевые дни, правительствам. Стагно объяснил, что нынешний процесс, требующий от правительств использовать недостатки безопасности для взлома устройств, является «самой демократической системой, которая у нас есть», но статус-кво может не продлиться, если ошибки станут слишком трудно найти.

Три других человека, которые в настоящее время работают в наступательной индустрии кибербезопасности, и один, который раньше не соглашался. Их аргументы сводятся к следующему: Легкие ошибки будет легче найти; более сложные ошибки, которые, как правило, более ценны и полезны для правительств, не исчезнут; и ИИ может активно помогать исследователям, которые продают ошибки государственным органам.

Хамид Кашфи, который является основателем компании DarkCell, занимающейся наступательной безопасностью, а также работает в стартапе Xbow по кибербезопасности ИИ, сказал, что «на каждый обнаруженный и зарегистрированный там ИИ, вероятно, приходится 20 ошибок, о которых не сообщается».

Два исследователя, которые в настоящее время зарабатывают на жизнь поиском ошибок для фирм с нулевым днем, сказали TechCrunch, что они меньше обеспокоены ростом ИИ, чем множеством новых средств защиты в современных устройствах, которые затрудняют их взлом.

Ева Гальперин, директор по кибербезопасности в Electronic Frontier Foundation и эксперт по правительственным шпионским программам, сказала, что преступление сегодня имеет преимущество из-за сочетания ИИ, который очень способен находить ошибки, и увеличения числа уязвимостей, вводимых «vibe-кодом», разрабатываемым с помощью инструментов ИИ.

С другой стороны, Гальперин утверждал, что поиск большего количества ошибок не обязательно означает, что больше ошибок будет исправлено достаточно быстро или вообще, учитывая, что исправление может быть сложным процессом. Гальперин сказал, что в какой-то момент все равно будет возобновлено движение за бэкдоры, потому что авторитарные режимы всегда хотят «исключительный доступ».

Кэти Муссурис (Katie Moussouris), которая помогала компаниям, как крупным, так и мелким, справляться с сообщениями об ошибках и исправлять их в течение десятилетий, сказала, что «у нас есть некоторое расстояние, прежде чем последние телефоны и ноутбуки будут полностью свободны от ошибок».

«Будет какой-то момент, когда найти ошибки будет намного сложнее, и это может вызвать это давление для создания бэкдоров», — сказал Муссурис, основатель и генеральный директор Luta Security.

«Я думаю, что у нас есть, по крайней мере, до следующих президентских выборов, прежде чем разведывательное сообщество будет достаточно сильно затруднено, чтобы серьезно продвигать бэкдоры», — сказал Муссурис.

Вопросы и ответы

Что такое «непростое перемирие» в кибербезопасности, о котором говорит Мэтью Грин?

Это компромисс: правительства не требуют бэкдоры в устройствах, а вместо этого инвестируют в хакерские инструменты и шпионские программы для взлома. Это позволяет сохранить конфиденциальность для обычных пользователей, но дает властям возможности для доступа к данным преступников.

Почему ИИ может нарушить это перемирие?

ИИ, особенно большие языковые модели, становятся лучше в поиске уязвимостей безопасности. Если компании смогут использовать ИИ для исправления большинства ошибок, правительства потеряют доступ к уязвимостям для взлома целей. Тогда они могут снова потребовать бэкдоры, что сделает устройства менее безопасными.

Какие аргументы против опасений Грина приводят эксперты?

Некоторые эксперты считают, что ИИ найдет легкие ошибки, но сложные и ценные уязвимости останутся. Также ИИ может помогать исследователям в поиске ошибок. Кроме того, на каждую обнаруженную ошибку приходится много неисправленных, поэтому дефицит багов не наступит быстро.