Студент факультета информатики и электротехники Стэнфорда Брайан Хау-Пинг Чанг смог встроить чат-бота ChatGPT на базе GPT-4 в умные очки благодаря аппаратному обеспечению Monocle AR с открытым исходным кодом и автоматическому распознаванию речи (ASR) Whisper от OpenAI. Он управляет устройством через смартфон.Bryan Hau-Ping Chiang / Twitter
Чанг назвал свою технологию rizzGPT («Rizz» на сленге означает «харизма»). Студент также использовал подключённые сервисы для транскрипции речи и оптического распознавания символов.Bryan Hau-Ping Chiang / Twitter
Чанг уже протестировал очки при прохождении собеседования, при случайной встрече с другом и при выборе лучших блюд в новом ресторане.
В руководстве по rizzGPT, опубликованном в Twitter, Чанг описывает систему как начало «новой эры фоновых вычислений с поддержкой AR + AI, где у каждого есть свой личный помощник, доступный 24/7». Студент пошутил, что он предлагает людям «харизму как услугу в реальном времени (CaaS)».
Чанг продемонстрировал работу rizzGPT. На видео он отвечает на ряд вопросов в ходе рабочего интервью, используя дискретный гаджет Monocle AR, прикрепленный к оправе очков. Встроенный дисплей посылает студенту автоподсказку прямо из ChatGPT.
Когда Чанг встречает друга, rizzGPT распознаёт его личность.
Владелец такого монокля может вызывать диалоги на основе сообщений из смартфона, которыми он обменивался ранее с конкретным человеком. Это может помочь во время встреч, чтобы задать нужные вопросы или вспомнить забытые подробности.
Также Monocle AR может давать рекомендации по меню в ресторане. Системы изучает меню, а потом даёт советы, основанные на том, что она знает о вкусовых предпочтениях владельца и о пищевой ценности продуктов.
Студент выложил код своего проекта на GitHub.
Источник новости: habr.com
