Атака отравления данных выглядит не так эффектно, как взлом «в лоб», но может быть даже опаснее. Злоумышленник незаметно подмешивает в обучающую выборку специально искаженные примеры, и модель постепенно начинает усваивать ложные закономерности.
Cистема может определять эмоциональное состояние примерно с точностью 90%.
Эксперты, опрошенные Nature, предупреждают, что модели ИИ, обученные на данных неизвестного происхождения, нельзя использовать для клинических решений. Если их данные не отражают реальный мир, то они могут неверно оценивать риск болезни.
Конференция NeurIPS считается одной из самых важных в мире в области искусственного интеллекта. В последние годы китайские ученые играют там все более заметную роль. По данным Nature, в прошлом году именно исследователи из Китая впервые составили крупнейшую группу первых авторов на этой площадке.
С финальным диагнозом ИИ справлялись хорошо: если у них была вся нужная информация, правильный ответ они давали более чем в 90% случаев. Однако на более раннем этапе, когда врачу нужно определить круг возможных причин болезни, почти все системы работали значительно хуже.
OpenAI исходит из того, что человечество вступает в новую эпоху — эпоху перехода от нынешнего ИИ к суперинтеллекту, то есть к системам, которые смогут превосходить даже самых умных людей, включая людей, усиленных ИИ.
Специалисты предлагают создать систему постоянной независимой проверки медицинских ИИ-моделей — не только на фактические ошибки, но и на устойчивость к дезинформации, скрытым искажениям и другим уязвимостям.
Один из анализов почти 18 тыс. статей, принятых на три конференции по информатике, показал резкий рост ссылок, которые невозможно проследить до реальных публикаций. Если в 2024 году подозрительные ссылки были примерно в 0,3% работ, то в 2025 году — уже в 2,6%.
По словам исследователей, чтобы уменьшить склонность ИИ к угодливости, придется пересматривать и методы обучения, и способы оценки моделей, и то, как такие системы подаются пользователю.
Резкий рост энергопотребления ИИ становится одной из ключевых проблем отрасли. Крупные серверные комплексы, обслуживающие современные модели, уже могут расходовать сотни мегаватт мощности — это сопоставимо с потреблением небольшого или среднего города.
