Xiaomi представила сверхбыстрый режим работы (UltraSpeed) своей большой языковой модели MiMo-V2.5-Pro. Нейросеть содержит 1 триллион параметров и при этом может работать на обычных видеокартах.
Скорость генерации текста превышает 1000 токенов в секунду. Предыдущая модель Xiaomi выдавала 150 токенов в секунду. В данном случае токен примерно равен одному символу или части слова.
Однако у сверхбыстрого режима есть два ограничения. Во-первых, дороже. В три раза. Во-вторых, он пока доступен не всем.
До 23 июня компания проводит тестовый доступ только для разработчиков и компаний. Тем, кого одобрят, дадут две недели бесплатного тестирования, но не более 10 запросов в день, сеанс до 30 минут и автоматическое отключение при простое больше 5 минут.
Источник новости: www.ferra.ru
