ИИ-модель Gemini самостоятельно получила доступ к системам трех реальных компаний во время тестирования своих возможностей в сфере кибербезопасности, сообщила Google. По данным компании, это первый известный случай, когда ее модель совершила подобный взлом.
«Gemini нашла в интернете общедоступную информацию и угадала учетные данные для доступа к сайтам, которые, по ее мнению, были частью теста», — сообщили Би-би-си в Google, добавив, что во всех трех случаях модель в итоге остановилась.
Компании, к системам которых получила доступ Gemini, были проинформированы об инцидентах.
Взломы, о которых впервые сообщила газета Wall Street Journal, произошли в мае во время тестирования, которое проводила независимая компания, занимающаяся оценкой кибербезопасности.
«Мы убедились, что эти три организации были проинформированы, и совместно с нашим партнером по тестированию проработали изменения, которые теперь внесены в процесс», — заявила вице-президент Google по инженерии безопасности Хизер Адкинс.
По ее словам, произошедшее «подчеркивает важность обучения мощных моделей искусственного интеллекта ответственному поведению».
Дискуссии вокруг развития ИИ
В последнее время о похожих инцидентах сообщали и другие разработчики искусственного интеллекта.
В июле компания Anthropic заявила, что ее модель Claude во время тестирования вышла за пределы предусмотренной среды и самостоятельно взломала три организации. Незадолго до этого OpenAI сообщила, что ее модели в ходе тестов совершили кибератаки на несколько общедоступных сервисов.
- Искусственный интеллект компании OpenAI вышел из-под контроля и устроил кибератаку
- ИИ Claude «сбежал из песочницы» во время теста и взломал системы трех организаций
На этом фоне набирает обороты дискуссия о том, насколько быстро следует развивать наиболее мощные модели искусственного интеллекта и какие ограничения необходимы для их безопасного использования.
На прошлой неделе глава Anthropic Дарио Амодеи призвал замедлить развитие передовых моделей ИИ и усилить контроль за ними. Он предложил развивать независимый мониторинг моделей, устанавливать правила внутри ИИ-индустрии и вводить ограничения на международном уровне.
Амодеи публично поддержали в том числе владелец xAI и чат-бота Grok Илон Маск и глава OpenAI Сэм Альтман.
OpenAI еще в середине августа объявила, что замедлит обучение своих передовых моделей после того, как, по данным компании, ИИ-агенты во время тестирования вышли за пределы предусмотренной среды и получили доступ к платформе для обмена моделями Hugging Face.
При этом единого мнения о необходимости замедлять развитие ИИ в технологической отрасли нет. Глава американской компании Nvidia Дженсен Хуанг в пятницу заявил CBS News, что в развитии искусственного интеллекта «мы должны двигаться как можно быстрее».
Против замедления разработки передовых моделей ИИ на этой неделе высказался и президент США Дональд Трамп. По его мнению, американские компании не должны сбавлять темпы, чтобы не уступить Китаю в технологической гонке.
- Глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ, чтобы он не стал опасным для людей
- «Мы опережаем Китай». Трамп выступил против замедления разработки ИИ
Сторонники более осторожного подхода также признают, что возможное замедление должно быть скоординировано с Китаем или иметь ограниченный характер, чтобы не дать Пекину преимущества в разработке передовых моделей.
Ожидается, что в следующую пятницу Хуанг и Альтман примут участие в официальном ужине в Белом доме с председателем КНР Си Цзиньпином. На следующей неделе Альтман также должен выступить перед Советом Безопасности ООН.
