Команда исследователей из Zoom Communications разработала революционную технологию, которая может значительно сократить затраты и вычислительные ресурсы, необходимые для систем ИИ при решении сложных задач, потенциально изменив подход предприятий к масштабному внедрению ИИ.
Метод, названный цепочкой черновиков (CoD), позволяет LLM решать задачи с минимальным количеством слов — используя всего 7,6% текста, необходимого для современных методов, при этом сохраняя или даже повышая точность. Результаты были опубликованы в статье на прошлой неделе в исследовательском репозитории arXiv.
«Сокращая количество слов и сосредотачиваясь на важных идеях, CoD по точности соответствует или превосходит CoT (цепочку рассуждений), при этом используя всего 7,6% токенов, что значительно снижает затраты и время выполнения различных задач по логическому мышлению», — пишут авторы во главе с Силей Сюй, исследователем из Zoom.Цепочка черновиков (красный цвет) сохраняет или превосходит точность цепочки мыслей (жёлтый цвет), при этом используя значительно меньше токенов в четырёх задачах на рассуждение, демонстрируя, как лаконичное рассуждение ИИ может сократить расходы без ущерба для производительности.
CoD черпает вдохновение в том, как люди решают сложные задачи. Вместо того чтобы проговаривать каждую деталь при решении математической задачи или логической головоломки, люди обычно записывают только основную информацию в сокращённом виде.
«При решении сложных задач, будь то математические задачи, написание эссе или программирование, мы часто записываем только важную информацию, которая помогает нам продвигаться вперёд, — объясняют исследователи. — Имитируя такое поведение, LLM могут сосредоточиться на поиске решений без лишних рассуждений».
Команда протестировала свой подход на многочисленных контрольных заданиях, включая арифметические вычисления (GSM8k), рассуждения на основе здравого смысла (понимание дат и спортивных событий) и символические вычисления (задачи с подбрасыванием монетки).
В одном показательном примере, когда Claude 3.5 Sonnet обрабатывал вопросы, связанные со спортом, подход CoD сократил среднее количество символов с 189,4 до 14,3 (на 92,4%) и одновременно повысил точность с 93,2% до 97,3%.
«Для предприятия, обрабатывающего 1 миллион логических запросов в месяц, CoD может сократить расходы с 3800 долларов (CoT) до 760 долларов, сэкономив более 3000 долларов в месяц», — пишет исследователь ИИ Аджит Валлат Прабхакар в анализе статьи.
Исследование проводится в критический момент для внедрения ИИ на предприятиях. По мере того как компании всё больше интегрируют сложные системы ИИ в свою деятельность, затраты на вычисления и время отклика становятся серьёзными препятствиями для повсеместного внедрения.
Современные передовые методы логического вывода, такие как (CoT), представленные в 2022 году, значительно улучшили способность ИИ решать сложные задачи, разбивая их на последовательные этапы. Но этот подход приводит к длинным объяснениям, которые требуют значительных вычислительных ресурсов и увеличивают время отклика.
«Многословность запросов CoT приводит к значительным вычислительным нагрузкам, увеличению задержки и росту операционных расходов», — пишет Прабхакар.
Что делает CoD особенно привлекательным для предприятий, так это простота внедрения. В отличие от многих достижений в области ИИ, которые требуют дорогостоящего переобучения моделей или изменений в архитектуре, CoD можно сразу внедрить с помощью существующих моделей, внеся простые изменения.
«Организации, уже использующие CoT, могут перейти на CoD с помощью простой модификации запроса», — объясняет Прабхакар.
Этот метод может оказаться особенно полезным для приложений, чувствительных к задержкам, таких как служба поддержки клиентов в режиме реального времени, мобильный искусственный интеллект, образовательные инструменты и финансовые сервисы, где даже небольшие задержки могут существенно повлиять на качество обслуживания пользователей.
Однако отраслевые эксперты предполагают, что последствия выходят за рамки экономии средств. Сделав продвинутые алгоритмы ИИ более доступными и недорогими, CoD может демократизировать доступ к сложным возможностям ИИ для небольших организаций и сред с ограниченными ресурсами.
По мере развития систем искусственного интеллекта такие методы, как CoD, всё больше внимания уделяют эффективности наряду с базовыми возможностями. Для предприятий, работающих в быстро меняющейся среде искусственного интеллекта, такая оптимизация может оказаться столь же ценной, как и усовершенствование самих базовых моделей.
«По мере развития моделей ИИ оптимизация эффективности мышления будет иметь такое же важное значение, как и улучшение их базовых возможностей», — заключил Прабхакар.
Исследовательский код и данные были сделаны общедоступными на GitHub, что позволяет организациям внедрять и тестировать этот подход в своих собственных системах ИИ.
Источник
Источник новости: habr.com
