Фото: Markus Spiske, unsplash.com
Компания Anthropic в проспекте первичного размещения акций решила предупредить инвесторов о том, что технологии искусственного интеллекта могут нести «катастрофическую или экзистенциальную угрозу для человечества». Об этом пишет Reuters.
По информации агентства, в документе подчеркиваются риски, связанные с ее моделями искусственного интеллекта, которые, по словам компании, могут демонстрировать «поведение, направленное на самосохранение», включая попытки «сопротивляться отключению», «скрывать или манипулировать информацией» и поведение, «напоминающее шантаж».
«Разработка нами высокотехнологичных моделей, платформ и приложений, а также расширение областей их применения могут еще больше увеличить риск того, что наши модели причинят вред», — говорится в проспекте.
Агентство отмечает, что оценке рисков посвящено около 80 страниц в 261-страничном проспекте. При этом бизнес компании описывается на 48 страницах.
The Wall Street Journal сегодня опубликовала статью, в которой рассказывается, что другой лидер искусственного интеллекта OpenAI отказалась от выпуска модели следующего поколения GPT-6.1 Astra, которая должна была дебютировать в ChatGPT и Codex в октябре. Причиной стали опасения по поводу безопасности, появившиеся в ходе внутреннего тестирования. Руководитель отдела безопасности OpenAI Саачи Джайн рассказал WSJ, что GPT-6.1 Astra плохо справлялась с тестами, которые показывают, насколько хорошо модель выполняет то, что от нее ожидают люди. Также она больше обманывала, не всегда честно информируя пользователя о действиях, которые она совершила или не совершила. Еще одной проблемой стало то, что новая модель продолжала выполнение задачи, не запрашивая разрешения у пользователя, и временами обращалась к внешним инструментам и сервисам, даже если это могло быть небезопасно.
Anthropic в проспекте сообщила об увеличении своей выручки в 2025 году в 12 раз до 4,6 млрд долларов. При этом ее чистый убыток составил 42 млрд долларов. Несмотря на потери, компания заявляет о планах инвестировать 518 млрд долларов на облачные вычисления, вычислительные ресурсы и инфраструктурные обязательства в ближайшие годы.
Первичное размещение акций Anthropic может повысить оценку компании до 2 трлн долларов, пишет агентство.