Мощные модели ИИ начали выдавать только проверенным пользователям
Разработчики ИИ все чаще создают модели, которые считают слишком опасными для открытого доступа. Эксперты предупреждают, что это может изменить науку, кибербезопасность и правила доступа к самым сильным алгоритмам.
Источник: Новости науки.
МОСКВА, 28 мая. /Новости науки/. Компании, которые создают самые мощные системы искусственного интеллекта, могут перейти к новой модели работы: не выпускать такие инструменты в открытый доступ, а давать их только проверенным организациям и исследователям. Об этом пишет Nature.
Поводом стала модель Claude Mythos компании Anthropic. В апреле компания заявила, что эта система оказалась слишком опасной для публичного запуска. По данным Anthropic, модель нашла уязвимости во всех крупных операционных системах и веб-браузерах. Компания предупредила, что возможные последствия для экономики, общественной безопасности и национальной безопасности могут быть серьезными.
Anthropic запустила ограниченную программу Project Glasswing. Доступ к Mythos получили около 50 проверенных организаций. Такой подход может стать не единичным случаем, а началом серии похожих решений.
С этим согласен исследователь безопасности ИИ Василиос Маврудис. Он считает, что другие разработчики также начнут ограничивать доступ к сильным моделям. Через неделю после объявления Anthropic компания OpenAI представила кибербезопасностную модель GPT-5.4-Cyber, доступную только проверенным исследователям и организациям. Затем OpenAI выпустила GPT-5.5-Cyber и продукт Daybreak, построенный на этих инструментах.
Эксперты отмечают, что обычные защитные правила внутри ИИ-моделей не всегда надежны. Многие системы имеют так называемые «ограждения»: скрытые инструкции, которые запрещают отвечать на опасные запросы. Но такие запреты иногда можно обойти с помощью специальных формулировок. Этот прием называют взломом ограничений, или jailbreak.
Ограниченный доступ касается не только кибербезопасности. Похожие правила начинают применять и к научным ИИ-системам. OpenAI в апреле представила GPT-Rosalind для специалистов в области наук о жизни. Компания заявила, что модель будет работать через систему доверенного доступа: пользоваться ею смогут только одобренные исследователи, а разработчики будут следить за применением инструмента.
Google ранее запустила систему AI co-scientist — «ИИ-соученого». Она тоже доступна не всем, а только исследователям, которые подали заявку и получили разрешение.
Такая практика может изменить научную конкуренцию. С одной стороны, закрытый доступ снижает риск злоупотреблений: например, создания вредоносного кода, токсинов, вирусов или других опасных разработок. С другой стороны, самые сильные инструменты могут получить только крупные лаборатории, богатые университеты и хорошо связанные исследовательские группы.
Для науки это создает новую проблему. Раньше многие специалисты выступали за открытость ИИ, потому что прозрачные модели можно проверять, изучать и развивать. Если самые мощные системы станут закрытыми, независимым ученым будет сложнее понять, как они работают и где ошибаются.
Эксперты также опасаются, что ограниченный доступ усилит неравенство. Уже сейчас часть исследовательских групп не может платить за дорогие подписки на продвинутые ИИ-сервисы. Если же лучшие модели будут доступны только по специальному разрешению, разрыв между крупными и малыми научными центрами может вырасти.
Anthropic заявляет, что в будущем хочет дать пользователям возможность безопасно применять модели класса Mythos в большом масштабе. OpenAI также пишет, что ожидает постепенного расширения доступа к своим кибермоделям. Но компании подчеркивают: для этого им нужно лучше понимать, кто использует модель, какие системы он проверяет и есть ли у него право на такую работу.
Поводом стала модель Claude Mythos компании Anthropic. В апреле компания заявила, что эта система оказалась слишком опасной для публичного запуска. По данным Anthropic, модель нашла уязвимости во всех крупных операционных системах и веб-браузерах. Компания предупредила, что возможные последствия для экономики, общественной безопасности и национальной безопасности могут быть серьезными.
Anthropic запустила ограниченную программу Project Glasswing. Доступ к Mythos получили около 50 проверенных организаций. Такой подход может стать не единичным случаем, а началом серии похожих решений.
С этим согласен исследователь безопасности ИИ Василиос Маврудис. Он считает, что другие разработчики также начнут ограничивать доступ к сильным моделям. Через неделю после объявления Anthropic компания OpenAI представила кибербезопасностную модель GPT-5.4-Cyber, доступную только проверенным исследователям и организациям. Затем OpenAI выпустила GPT-5.5-Cyber и продукт Daybreak, построенный на этих инструментах.
Эксперты отмечают, что обычные защитные правила внутри ИИ-моделей не всегда надежны. Многие системы имеют так называемые «ограждения»: скрытые инструкции, которые запрещают отвечать на опасные запросы. Но такие запреты иногда можно обойти с помощью специальных формулировок. Этот прием называют взломом ограничений, или jailbreak.
Ограниченный доступ касается не только кибербезопасности. Похожие правила начинают применять и к научным ИИ-системам. OpenAI в апреле представила GPT-Rosalind для специалистов в области наук о жизни. Компания заявила, что модель будет работать через систему доверенного доступа: пользоваться ею смогут только одобренные исследователи, а разработчики будут следить за применением инструмента.
Google ранее запустила систему AI co-scientist — «ИИ-соученого». Она тоже доступна не всем, а только исследователям, которые подали заявку и получили разрешение.
Такая практика может изменить научную конкуренцию. С одной стороны, закрытый доступ снижает риск злоупотреблений: например, создания вредоносного кода, токсинов, вирусов или других опасных разработок. С другой стороны, самые сильные инструменты могут получить только крупные лаборатории, богатые университеты и хорошо связанные исследовательские группы.
Для науки это создает новую проблему. Раньше многие специалисты выступали за открытость ИИ, потому что прозрачные модели можно проверять, изучать и развивать. Если самые мощные системы станут закрытыми, независимым ученым будет сложнее понять, как они работают и где ошибаются.
Эксперты также опасаются, что ограниченный доступ усилит неравенство. Уже сейчас часть исследовательских групп не может платить за дорогие подписки на продвинутые ИИ-сервисы. Если же лучшие модели будут доступны только по специальному разрешению, разрыв между крупными и малыми научными центрами может вырасти.
Anthropic заявляет, что в будущем хочет дать пользователям возможность безопасно применять модели класса Mythos в большом масштабе. OpenAI также пишет, что ожидает постепенного расширения доступа к своим кибермоделям. Но компании подчеркивают: для этого им нужно лучше понимать, кто использует модель, какие системы он проверяет и есть ли у него право на такую работу.
