Как Anthropic предлагает доказывать, какая модель ИИ дала ответ
Во вторник Anthropic сообщила в блоге, что разрабатывает систему с открытым исходным кодом FlashProve, которая позволит проверить, какая модель ИИ произвела конкретный результат. Система обеспечит «доказуемый вывод» — криптографическое доказательство, по сути математическую гарантию того, что данный ответ исходил из определенной модели, чтобы пользователи могли подтвердить ее авторство.
Подобно криптографическим подписям электронной почты, которые позволяют получателям подтвердить, что сообщение действительно пришло от его предполагаемого отправителя, FlashProve будет устойчив против самозванцев, пытающихся замаскировать одну модель как другую, даже когда самозванец является лабораторией, которая построила и управляет моделью. В частности, исследователи отмечают, что система может быть использована для предотвращения тайного обмена ИИ-компанией в более дешевой модели, чтобы сократить расходы, или более дорогой модели, чтобы раздуть ее результаты производительности.
FlashProve также может использоваться для проверки утверждений третьих сторон о том, что конкретная задача была выполнена продвинутой моделью. «Разработчик может утверждать, что их библиотека программного обеспечения была отсканирована на наличие уязвимостей пограничной моделью кибербезопасности, или компания может утверждать, что ее бизнес-план был разработан соответствующей моделью».
Как работает система FlashProve?

Чтобы работать, система требует, чтобы лаборатории ИИ опубликовали «отпечаток пальца» каждой модели, которую они выпускают, который впоследствии может быть сопоставлен с конкретными выводами и проверен криптографически. Важно отметить, что отпечатки пальцев не показывают вес модели, внутренние цифры, которые определяют, как она ведет себя, и какие производители закрытых моделей, такие как Anthropic и OpenAI, сохраняют конфиденциальность. Это означает, что лаборатории могут публиковать отпечатки пальцев, не отказываясь от своего самого ценного актива, что позволяет системе работать с коммерческими моделями. Система также разработана, чтобы быть легкой, поэтому проверка может быть выполнена на локальном устройстве.
В рамках анонса исследователи выпустили подробную техническую спецификацию и рабочий код для различных элементов системы, который является общедоступным по лицензии с открытым исходным кодом на GitHub. Исследования в системе продолжаются, и нет никаких планов по ее развертыванию в Anthropic или любой другой лаборатории.
«Этот исследовательский пост предназначен для обмена промежуточным прогрессом, а не завершенной исследовательской повесткой дня, — объясняют исследователи в объявлении. — Мы явно делимся этим с целью, чтобы другие смотрели на то, что мы сделали, принимали это и улучшали это».
Вопросы и ответы
Что именно Anthropic выложила в открытый доступ вместе с анонсом FlashProve?
Исследователи опубликовали подробную техническую спецификацию и рабочий код для разных элементов системы. Код доступен всем по лицензии с открытым исходным кодом на GitHub. При этом сама система пока остаётся исследовательским проектом.
Раскрывают ли отпечатки пальцев моделей их внутреннее устройство?
Нет. Отпечатки не показывают веса модели — внутренние цифры, определяющие её поведение. Именно поэтому лаборатории, включая Anthropic и OpenAI, могут публиковать отпечатки, не раскрывая конфиденциальные данные и не отказываясь от своего ключевого актива.
Планирует ли Anthropic внедрить FlashProve у себя?
Нет, планов развертывания системы в Anthropic или какой-либо другой лаборатории нет. Исследования продолжаются, а сам пост задуман как обмен промежуточным прогрессом, чтобы другие могли изучить наработки, принять их и улучшить.