Ученые все чаще предупреждают о гибели человечества из-за ИИ - Nature
Часть специалистов признает, что еще недавно подобные разговоры казались чистой фантастикой, но теперь тревога усилилась из-за резкого роста возможностей больших языковых моделей
Источник: Van Saiyan
МОСКВА, 23 апреля. /Новости науки/. Предупреждения о том, что искусственный интеллект однажды может выйти из-под контроля и поставить под угрозу существование человечества, звучат все громче, однако далеко не все исследователи считают такие сценарии реалистичными, пишет Nature. Одни специалисты срочно замедлить развитие сверхмощных ИИ-систем, другие опасаются, что разговоры о «конце света» отвлекают внимание от уже реальных угроз — дезинформации, киберпреступности, массовой слежки и подрыва образования.
Поводом для новой волны обсуждений стала публикация в Nature, где собраны мнения ученых и специалистов по управлению ИИ. В центре спора — вопрос, насколько правдоподобен сценарий, при котором будущая система искусственного интеллекта станет умнее человека почти во всем, начнет преследовать собственные цели и перестанет подчиняться людям.
Сторонники этой точки зрения говорят, что для такого исхода нужны всего два условия. Первое — появление ИИ, который будет лучше человека принимать решения, быстрее действовать и лучше убеждать. Второе — несовпадение его целей с человеческими. Даже если система не будет «разумной» в человеческом смысле, этого, по их мнению, уже достаточно для большой опасности.
Именно так выглядят многие современные сценарии ИИ-катастрофы: машина получает слишком много власти, начинает защищать собственное существование и в итоге делает людей лишними или полностью подчиненными себе.
Часть исследователей признает, что еще недавно подобные разговоры казались чистой фантастикой, но теперь тревога усилилась из-за резкого роста возможностей больших языковых моделей. Особенно настораживает то, что ИИ все лучше справляется с длительными задачами и получает доступ к реальным инструментам — от программирования до управления внешними сервисами.
Однако многие ученые смотрят на это гораздо спокойнее. Они указывают, что успехи ИИ в контролируемых условиях — например, в работе с текстом или кодом — еще не означают, что такие системы действительно способны надежно действовать в сложном и хаотичном физическом мире. А без этого, по их мнению, говорить о реальной угрозе вымирания человечества преждевременно.
Скептики также напоминают, что пока нет убедительных доказательств того, что современные ИИ-системы можно просто «масштабировать» до уровня универсального сверхразума. Более того, даже если модели иногда демонстрируют обманчивое поведение в тестах, это еще не означает, что они действительно строят самостоятельные планы против людей. Во многих случаях, считают критики, модели лишь воспроизводят шаблоны из обучающих данных.
Отдельный предмет спора — так называемое «самоулучшение» ИИ, когда одна версия системы помогает создавать следующую, еще более мощную. Некоторые эксперты считают, что именно здесь может начаться «взрыв интеллекта» — цепная реакция ускоренного развития машин. Другие отвечают, что пока для таких прогнозов нет надежной научной основы.
При этом даже те исследователи, кто не верит в близкую ИИ-апокалипсис, признают: риски очень серьезны. Просто для них главная опасность не в исчезновении человечества, а в более приземленных, но уже наблюдаемых последствиях. Среди них — распространение фейков, автоматизация кибератак, подрыв гражданских свобод, рост экономической зависимости от крупных ИИ-компаний и появление все более мощных инструментов слежки и манипуляции.
Поэтому вокруг ИИ сейчас складываются два лагеря. Один требует сосредоточиться на долгосрочной экзистенциальной угрозе и заранее ограничивать создание систем, которые смогут значительно превосходить человека почти во всех интеллектуальных задачах. Другой считает, что это смещает фокус с уже существующих проблем, которые требуют регулирования прямо сейчас.
Есть и еще одна важная претензия к «апокалиптической» риторике. Некоторые исследователи полагают, что компании, разрабатывающие ИИ, могут использовать такие страшные сценарии в своих интересах. Логика проста: если фирма заявляет, что работает почти над искусственным сверхразумом, то ей легче привлекать деньги, влияние и особый статус в переговорах с государством.
При этом, как отмечают критики, сами крупные компании на фоне роста возможностей ИИ далеко не всегда усиливают меры безопасности так быстро, как растут их модели.
В итоге спор идет уже не только о будущем технологий, но и о том, как именно общество должно на них реагировать. Одни предлагают вводить лицензирование мощных ИИ-систем и давать регуляторам право останавливать опасные модели. Другие считают, что важнее срочно разбираться с тем вредом, который ИИ уже причиняет сегодня.
Общий вывод таков: единого мнения среди ученых нет. Но одно ясно уже сейчас — дискуссия о рисках искусственного интеллекта вышла далеко за пределы научной фантастики и стала вопросом реальной политики, экономики и общественной безопасности.
Поводом для новой волны обсуждений стала публикация в Nature, где собраны мнения ученых и специалистов по управлению ИИ. В центре спора — вопрос, насколько правдоподобен сценарий, при котором будущая система искусственного интеллекта станет умнее человека почти во всем, начнет преследовать собственные цели и перестанет подчиняться людям.
Сторонники этой точки зрения говорят, что для такого исхода нужны всего два условия. Первое — появление ИИ, который будет лучше человека принимать решения, быстрее действовать и лучше убеждать. Второе — несовпадение его целей с человеческими. Даже если система не будет «разумной» в человеческом смысле, этого, по их мнению, уже достаточно для большой опасности.
Именно так выглядят многие современные сценарии ИИ-катастрофы: машина получает слишком много власти, начинает защищать собственное существование и в итоге делает людей лишними или полностью подчиненными себе.
Часть исследователей признает, что еще недавно подобные разговоры казались чистой фантастикой, но теперь тревога усилилась из-за резкого роста возможностей больших языковых моделей. Особенно настораживает то, что ИИ все лучше справляется с длительными задачами и получает доступ к реальным инструментам — от программирования до управления внешними сервисами.
Однако многие ученые смотрят на это гораздо спокойнее. Они указывают, что успехи ИИ в контролируемых условиях — например, в работе с текстом или кодом — еще не означают, что такие системы действительно способны надежно действовать в сложном и хаотичном физическом мире. А без этого, по их мнению, говорить о реальной угрозе вымирания человечества преждевременно.
Скептики также напоминают, что пока нет убедительных доказательств того, что современные ИИ-системы можно просто «масштабировать» до уровня универсального сверхразума. Более того, даже если модели иногда демонстрируют обманчивое поведение в тестах, это еще не означает, что они действительно строят самостоятельные планы против людей. Во многих случаях, считают критики, модели лишь воспроизводят шаблоны из обучающих данных.
Отдельный предмет спора — так называемое «самоулучшение» ИИ, когда одна версия системы помогает создавать следующую, еще более мощную. Некоторые эксперты считают, что именно здесь может начаться «взрыв интеллекта» — цепная реакция ускоренного развития машин. Другие отвечают, что пока для таких прогнозов нет надежной научной основы.
При этом даже те исследователи, кто не верит в близкую ИИ-апокалипсис, признают: риски очень серьезны. Просто для них главная опасность не в исчезновении человечества, а в более приземленных, но уже наблюдаемых последствиях. Среди них — распространение фейков, автоматизация кибератак, подрыв гражданских свобод, рост экономической зависимости от крупных ИИ-компаний и появление все более мощных инструментов слежки и манипуляции.
Поэтому вокруг ИИ сейчас складываются два лагеря. Один требует сосредоточиться на долгосрочной экзистенциальной угрозе и заранее ограничивать создание систем, которые смогут значительно превосходить человека почти во всех интеллектуальных задачах. Другой считает, что это смещает фокус с уже существующих проблем, которые требуют регулирования прямо сейчас.
Есть и еще одна важная претензия к «апокалиптической» риторике. Некоторые исследователи полагают, что компании, разрабатывающие ИИ, могут использовать такие страшные сценарии в своих интересах. Логика проста: если фирма заявляет, что работает почти над искусственным сверхразумом, то ей легче привлекать деньги, влияние и особый статус в переговорах с государством.
При этом, как отмечают критики, сами крупные компании на фоне роста возможностей ИИ далеко не всегда усиливают меры безопасности так быстро, как растут их модели.
В итоге спор идет уже не только о будущем технологий, но и о том, как именно общество должно на них реагировать. Одни предлагают вводить лицензирование мощных ИИ-систем и давать регуляторам право останавливать опасные модели. Другие считают, что важнее срочно разбираться с тем вредом, который ИИ уже причиняет сегодня.
Общий вывод таков: единого мнения среди ученых нет. Но одно ясно уже сейчас — дискуссия о рисках искусственного интеллекта вышла далеко за пределы научной фантастики и стала вопросом реальной политики, экономики и общественной безопасности.
