Anthropic призывают к замедлению развития ИИ, а Берни Сандерс выступает за демократизацию контроля

Компания Anthropic, разработавшая нейросеть Claude и входящая в число крупнейших игроков на рынке искусственного интеллекта, призвала замедлить развитие наиболее мощных ИИ-систем. Соответствующее обращение опубликовано на официальном сайте компании. Одним из авторов текста стал сооснователь Anthropic Джек Кларк.

О чем идет речь?

Автор:ки обращения предупреждают, что современные системы искусственного интеллекта стремительно приближаются к этапу, когда модели смогут улучшать собственные алгоритмы без участия человека. В Anthropic считают, что подобное развитие технологий может создать принципиально новые риски и поставить под вопрос способность людей сохранять контроль над ИИ.

При этом в компании подчеркивают, что такие системы способны принести значительную пользу науке, здравоохранению и другим сферам. Однако одновременно они могут привести к появлению угроз, к которым общество и государственные институты пока не готовы.

По мнению авторо:к текста, лидерам индустрии следует рассмотреть возможность замедления или временной приостановки разработки наиболее мощных моделей, чтобы дать обществу время на адаптацию и выработку эффективных механизмов регулирования.

В Anthropic также признают, что подобная пауза будет иметь смысл только в случае участия всех крупнейших разработчиков ИИ и создания международной системы контроля за соблюдением ограничений. В качестве аналогии автор:ки приводят соглашения по контролю над вооружениями времен холодной войны, однако отмечают, что разработку искусственного интеллекта скрыть значительно проще, чем создание ядерного оружия или ракетных систем.

Предложения Берни Сандерса по ИИ

Дискуссия о регулировании искусственного интеллекта в США не ограничивается вопросами безопасности и контроля над технологиями. На этой неделе американский сенатор Берни Сандерс представил собственное предложение, касающееся крупнейших компаний, работающих в сфере ИИ.

Как сообщает The New York Times, Сандерс предлагает создать специальный суверенный фонд и обязать ведущих разработчиков нейросетей, включая OpenAI и Anthropic, передать обществу 50% своего капитала в виде акций. По замыслу автора инициативы, это должно обеспечить граждан:кам прямое участие в управлении технологическими корпорациями через представительство в советах директоров.

Сандерс исходит из того, что современные системы искусственного интеллекта создавались на основе коллективных знаний и труда миллионов людей. Поэтому, считает сенатор, экономические выгоды от развития ИИ не должны концентрироваться в руках ограниченного круга инвестор:ок и миллиардеро:к.

Предполагается, что средства нового фонда будут направляться на финансирование образования, здравоохранения и социальных программ, а также на прямые выплаты населению. По мнению Сандерса, демократический контроль над развитием искусственного интеллекта поможет снизить риски массовой потери рабочих мест и ограничить влияние корпоративных интересов на развитие технологии.

Друзья ли нам киберголемы?

Политическая история искусственного интеллекта

Игорь В.

Что говорят эксперт:ки?

Эксперт по кибербезопасности Тимофей Дубровских считает, что сценарий появления систем искусственного интеллекта, способных самостоятельно улучшать собственные модели, вполне реалистичен.

«Я не вижу ограничений для того, чтобы модели улучшали сами себя. Кроме организаций, которые предоставляют большие языковые модели как сервис, существует огромное количество LLM, которые можно развернуть на оборудовании, находящемся вне какого-либо внешнего контроля или ограничений», — говорит Дубровских.

Схожей позиции придерживается и экспертка по искусственному интеллекту, с которой DOXA поговорила на условиях анонимности. По ее словам, самосовершенствующиеся агенты уже давно являются одним из наиболее активно развивающихся направлений исследований.

«Это сейчас одно из самых горячих направлений исследований. Мы сами недавно опубликовали работу, посвященную прототипу самосовершенствующегося агента. За последний месяц сразу несколько стартапов, работающих в этой области, получили крупное финансирование от ведущих венчурных фондов. Например, стартапы Дэвида Сильвера, Джеффа Клена и Тима Рока привлекли сотни миллионов долларов инвестиций. Деньги на это направление сейчас активно дают по всему рынку», — отмечает она.

При этом экспертка подчеркивает, что речь не идет о принципиально новой технологии.

«Самосовершенствование моделей ничем фундаментально не отличается от других направлений развития ИИ. Это все те же методы обучения, обучения с подкреплением, различные симуляции и другие подходы, которые десятилетиями использовались для создания более сильных моделей. Да, это новое и интересное направление, но оно не является каким-то радикальным технологическим разрывом», — резюмирует собеседница DOXA.

Anthropic действительно беспокоится о рисках или занимается маркетингом?

Тимофей Дубровских напрямую не комментирует мотивы Anthropic, однако отмечает, что крупнейшие ИИ-модели уже становятся инструментом стратегического соперничества между государствами и корпорациями.

«То, что сейчас происходит с MythosMythos — закрытая ИИ-модель компании Anthropic, предназначенная для задач кибербезопасности. Она помогает искать уязвимости в программном обеспечении и анализировать потенциальные способы атак на цифровые системы. Доступ к ней предоставляется ограниченному кругу организаций и государственных структур, — очень интересный пример. Корпорация предоставляет доступ к чрезвычайно эффективной для хакерства модели избранным организациям и институциям, чтобы они могли быстрее устранять уязвимости в своих системах. Такой инструмент позволяет находить и закрывать тысячи уязвимостей с той скоростью, которая раньше была недостижима», — говорит эксперт.

По его словам, подобные технологии уже дают государствам серьезные преимущества.

«Это дает серьезное преимущество государству, которое располагает таким инструментом. И, конечно, многие страны хотели бы получить доступ к аналогичным возможностям», — добавляет Дубровских.

Экспертка по искусственному интеллекту оценивает позицию Anthropic значительно более критично.

«Если говорить прямо, я считаю это полной ерундой. На мой взгляд, это очередной элемент маркетинговой стратегии Anthropic. Компания уже не раз использовала подобную риторику: сначала вокруг Mythos, потом вокруг других своих моделей. Постоянно создается ощущение, будто вот-вот произойдет нечто чрезвычайно опасное. Но реальные возможности современных ИИ-систем мы все видим — они далеки от апокалиптических сценариев», — отмечает она.

Собеседница DOXA также обращает внимание на противоречие между публичной риторикой компании и ее практической деятельностью.

«Если Anthropic настолько обеспокоена влиянием технологий на общество, возникает вопрос, почему компанию устраивают военные и государственные контракты в разных странах мира. Почему сотрудничество с военными структурами считается нормальным, а новое научное направление внезапно объявляется слишком опасным? На мой взгляд, здесь речь идет скорее о пиаре, чем о принципиальной позиции», — добавляет экспертка.

Возможен ли глобальный контроль над развитием ИИ?

Тимофей Дубровских относится к такой перспективе скептически.

«Есть много акторо:к, которые разрабатывают собственные модели. Судя по тому, что происходит в мире, способность договариваться — не самая сильная сторона человечества. Поэтому вероятность того, что государства и корпорации смогут прийти к устойчивому соглашению по этому вопросу, я оцениваю как низкую», — считает он.

По его мнению, стимулом для международной кооперации могут стать только серьезные кризисы.

«Что может помочь — это появление общего врага. Чтобы человечество объединилось против чего-то, обычно нужны серьезные инциденты. Если или когда ИИ начнет атаковать людей либо важные для них активы, государства и организации могут получить гораздо больше мотивации для совместных действий», — добавляет эксперт.

Экспертка по ИИ также считает, что реальный общественный контроль над отраслью пока остается весьма ограниченным.

«Если говорить о будущем, то нужны механизмы прозрачности, общественного аудита и обязательного обсуждения решений, связанных с внедрением ИИ. Возможно, отрасли нужен аналог GDPRGDPR — европейский закон о защите персональных данных, который обязывает компании прозрачно собирать, хранить и использовать информацию о пользователь:ницах и дает людям право контролировать свои данные — набор жестких правил, который обяжет компании согласовывать ключевые решения с обществом и регуляторами. Но до появления подобных механизмов пока очень далеко», — резюмирует она.

Берни Сандерс, демократический контроль и будущее индустрии

Комментируя инициативу Берни Сандерса о передаче обществу части собственности крупнейших ИИ-компаний, экспертка отмечает, что сама постановка вопроса заслуживает внимания.

«Меня скорее восхищает, что Сандерс в своем возрасте продолжает заниматься действительно актуальными проблемами. Но я не верю, что подобная инициатива будет реализована. Если доводить эту логику до конца, тогда уже можно говорить и о национализации таких компаний. Проблема в том, что в рамках существующей экономической системы подобные решения практически невозможны», — считает экспертка.

По ее мнению, крупнейшие компании продолжат концентрировать в своих руках вычислительные мощности и финансовые ресурсы.

«Сейчас все движется к тому, что крупнейшие компании выйдут на IPO, станут частью основных фондовых индексов и продолжат накапливать ресурсы. Вопрос демократического контроля над технологиями упирается прежде всего в политическую волю, а ее сегодня практически нет», — отмечает собеседница DOXA.

Экспертка также считает, что государственная политика в отношении ИИ сегодня ориентирована прежде всего на военные разработки.

«Политическая воля сейчас направлена не на демократизацию технологий, а на максимально быстрое создание военных систем и автономных вооружений. Именно туда идут основные бюджеты. Поэтому разговоры о демократическом контроле пока остаются скорее пожеланием, чем реальной программой действий», — резюмирует она.

В качестве одной из возможных альтернатив концентрации технологий экспертка по искусственному интеллекту называет развитие открытых моделей искусственного интеллекта.

Контекст

Компания Anthropic была основана в 2021 году бывшими сотрудни:цами OpenAI во главе с Дарио Амодеи и за несколько лет превратилась в одного из главных конкурентов создателя ChatGPT.

Особую известность компании принесли инструменты для программирования Claude Code. В 2026 году оценка Anthropic достигла 965 миллиардов долларов, что позволило ей обойти OpenAI по рыночной стоимости. 1 июня компания также подала конфиденциальную заявку на проведение IPO в Комиссию по ценным бумагам и биржам США (SEC).

Призывы к замедлению развития искусственного интеллекта звучат не впервые. В марте 2023 года более тысячи исследователь:ниц, предприниматель:ниц и эксперто:к подписали открытое письмо организации Future of Life с призывом временно приостановить разработку систем, превосходящих по возможностям GPT-4.

Автор:ки обращения предупреждали, что наиболее мощные нейросети могут представлять серьезную угрозу для общества, экономики и политических институтов. По их мнению, разработчикам следовало взять паузу и сосредоточиться на создании надежных механизмов безопасности и контроля.

Среди подписанто:к письма были Илон Маск, сооснователь Apple Стив Возняк, историк Юваль Ной Харари и глава Stability AI Эмад Мостак. Авторы также призывали правительства вмешаться в процесс регулирования, если крупнейшие компании не смогут самостоятельно договориться о временных ограничениях.

Опасения по поводу социальных последствий развития ИИ высказывают и международные организации. Так, ранее ЮНЕСКО предупреждала, что к 2028 году распространение генеративного искусственного интеллекта может лишить авторо:к до четверти их доходов.