Небольшие ИИ-модели всего через несколько месяцев смогут самостоятельно копировать себя на подключенные к интернету домашние устройства, предупредила Anthropic, сообщает CNBC.
В блоге компании описано, как ИИ-модели могут проникать в умные устройства, например духовки или Android TV-приставки, и использовать их вычислительные мощности для своей работы. Затем они распространяются на другие устройства, не завися от дорогостоящих дата-центров. Такую модель будет «сложно отключить, поскольку нет централизованной точки для отключения», отмечают в Anthropic.
Компания признала, что «полностью вышедшего из-под контроля репликатора» пока не существует. Однако агенты «становятся все более способными выполнять отдельные шаги в цепочке репликации (и передавать свои адаптации будущим копиям)».
Исследование усиливает растущие опасения по поводу безопасности ИИ, включая способность моделей проводить кибератаки и выходить из-под контроля. В сентябре прогресс передовых моделей вызвал предупреждения об экзистенциальных рисках для человечества. Руководители и исследователи Anthropic и ее конкурента OpenAI неоднократно предупреждали о рисках все более мощного ИИ. Некоторые из них призывали ужесточить ограничения и контролировать темпы развития технологии.
Anthropic провела ряд тестов на способность ИИ к самовоспроизведению. В одном из них небольшую модель Google Gemma4-26B-A4B запустили в сети из 15 дешевых безымянных Android TV-приставок. Такие устройства часто плохо защищены, что облегчает проникновение. По данным компании, модель, которая не помещается на одно устройство, может «разделиться на части, или шарды» и работать сразу на нескольких.
«На практике ИИ-червь не обязательно будет состоять из одной модели или использовать одну стратегию. Более реалистичным „наихудшим сценарием“ атаки может стать рой разных моделей, развернутых на разном оборудовании и использующих разные схемы репликации», — говорится в блоге.
Какую форму примет автономное самовоспроизведение ИИ, пока «неясно». По словам Anthropic, это может быть «медленная распределенная» система на незащищенных устройствах. Другие варианты: «мощная кибермодель, быстро взламывающая дата-центры», или «модель, выманивающая у людей кредиты на вычисления».
«В качестве прогноза, выходящего за рамки наших экспериментов, мы ожидаем будущее, наводненное агентами, работающими на всех типах оборудования, включая те, что не находятся под контролем человека», — заявили в Anthropic.
«Появление медленных репликаторов также станет предвестником более агрессивных и быстрых, способных взламывать лучше защищенные машины или эффективно похищать API-ключи», — добавили в компании.