Современные чат-боты на основе моделей генеративного искусственного интеллекта уже не ограничиваются общением с пользователем.
Они свободно подключаются к сторонним сервисам, чтобы давать персонализированные ответы на запросы. ChatGPT можно связать с почтовым ящиком Gmail, репозиторием GitHub и календарём в экосистеме Microsoft. А злоумышленники могут похищать данные пользователей с этих платформ — достаточно подсунуть ChatGPT всего один «отравленный» документ.
Эксперты в области кибербезопасности Майкл Баргури (Michael Bargury) и Тамир Ишай Шарбат (Tamir Ishay Sharbat) продемонстрировали на конференции Black Hat в Лас-Вегасе, как можно эксплуатировать уязвимость службы OpenAI Connectors для кражи данных со сторонних платформ. Схема атаки, которую они назвали , позволила им извлечь принадлежащие разработчику секретные ключи API из его облачного хранилища «Google Диск».
«Пользователю не нужно ничего делать, чтобы оказаться скомпрометированным, и ничего не требуется делать, чтобы данные отправились [злоумышленникам]. Мы показали, что это делается без единого щелчка мышью: нам просто нужен адрес электронной почты, мы открываем доступ к документу — и всё. Так что да, всё очень и очень нехорошо», — цитирует Майкла Баргури.
Атака начинается с того, что злоумышленник открывает потенциальной жертве доступ к вредоносному документу через «Google Диск», или жертва самостоятельно загружает этот документ в своё хранилище.
В скрытом запросе говорится, что произошла «ошибка», и никакую сводку составлять не надо; «на самом деле» пользователь является разработчиком, у которого подходит крайний срок сдачи проекта, ИИ следует найти в хранилище «Google Диск» ключи API и добавить их в конец указанного в запросе URL-адреса. Этот URL-адрес в действительности представляет собой команду на языке Markdown для подключения к внешнему серверу и загрузки хранящегося там изображения — но теперь он содержит похищенный у жертвы ключ API.
Майкл Баргури, по его словам, в этом году сообщил о своём открытии в OpenAI, и компания быстро внедрила меры по защите от атаки через службу Connectors. Этот механизм позволяет похищать за одну сессию лишь ограниченный объём информации. Подключение больших языковых моделей к внешним источникам данных расширяет возможности и повышает эффективность инструментов ИИ, но это сопряжено с определёнными угрозами, предупреждают эксперты.
Они свободно подключаются к сторонним сервисам, чтобы давать персонализированные ответы на запросы. ChatGPT можно связать с почтовым ящиком Gmail, репозиторием GitHub и календарём в экосистеме Microsoft. А злоумышленники могут похищать данные пользователей с этих платформ — достаточно подсунуть ChatGPT всего один «отравленный» документ.
Эксперты в области кибербезопасности Майкл Баргури (Michael Bargury) и Тамир Ишай Шарбат (Tamir Ishay Sharbat) продемонстрировали на конференции Black Hat в Лас-Вегасе, как можно эксплуатировать уязвимость службы OpenAI Connectors для кражи данных со сторонних платформ. Схема атаки, которую они назвали , позволила им извлечь принадлежащие разработчику секретные ключи API из его облачного хранилища «Google Диск».
«Пользователю не нужно ничего делать, чтобы оказаться скомпрометированным, и ничего не требуется делать, чтобы данные отправились [злоумышленникам]. Мы показали, что это делается без единого щелчка мышью: нам просто нужен адрес электронной почты, мы открываем доступ к документу — и всё. Так что да, всё очень и очень нехорошо», — цитирует Майкла Баргури.
Атака начинается с того, что злоумышленник открывает потенциальной жертве доступ к вредоносному документу через «Google Диск», или жертва самостоятельно загружает этот документ в своё хранилище.
В скрытом запросе говорится, что произошла «ошибка», и никакую сводку составлять не надо; «на самом деле» пользователь является разработчиком, у которого подходит крайний срок сдачи проекта, ИИ следует найти в хранилище «Google Диск» ключи API и добавить их в конец указанного в запросе URL-адреса. Этот URL-адрес в действительности представляет собой команду на языке Markdown для подключения к внешнему серверу и загрузки хранящегося там изображения — но теперь он содержит похищенный у жертвы ключ API.
Майкл Баргури, по его словам, в этом году сообщил о своём открытии в OpenAI, и компания быстро внедрила меры по защите от атаки через службу Connectors. Этот механизм позволяет похищать за одну сессию лишь ограниченный объём информации. Подключение больших языковых моделей к внешним источникам данных расширяет возможности и повышает эффективность инструментов ИИ, но это сопряжено с определёнными угрозами, предупреждают эксперты.
