TrueFoundry, стартап, созданный группой бывших инженеров Meta* для помощи предприятиям в масштабном развертывании систем искусственного интеллекта, привлек 19 миллионов долларов новых инвестиций под руководством Intel Capital.
С появлением GenAI после запуска ChatGPT в ноябре 2022 года предприятия всех размеров стали искать способы внедрения AI. Но GenAI полагается на большие языковые модели для предоставления интеллекта, требуя значительной вычислительной мощности. Не все предприятия имеют преимущество доступа к сотням или тысячам графических процессоров, что делает оптимизацию графических процессоров необходимой. Кроме того, предприятиям необходимо экспериментировать с несколькими моделями, чтобы найти наиболее подходящую для своего варианта использования и настроить существующие модели, чтобы сделать системы AI релевантными для своих операций.
TrueFoundry решает все эти проблемы с помощью своего программного обеспечения, доступного по модели платформы как услуги, нацеленной на полнофункциональных дата-сайентистов. Оно предоставляет такие функции, как автоматическое масштабирование, проактивное обслуживание, централизованные контроль доступа и мониторинг в реальном времени, чтобы упростить развертывание AI от начала до конца.
Компания была основана в июне 2021 года бывшими инженерами Meta* Никуном Баджаджем и Абхишеком Чоудхари, а также их коллегой из IIT Харагпур Анурагом Гутгутией. Изначально TrueFoundry предлагала программное обеспечение для кросс-облачного развертывания с целью ускорить внедрение машинного обучения. Однако, когда GenAI стал мейнстримом в 2023 году, стартап модифицировал свою систему для поддержки возможностей GenAI.
"Ранее дата-сайентисты работали только с моделями и проводили эксперименты с ними, но большая часть развертывания передавалась ML-инженерам. С нашей системой мы даем возможность самим дата-сайентистам строить всю эту сложную систему и тестировать ее в масштабах, прежде чем передавать команде платформы для окончательного развертывания," - сказал Гутгутия в эксклюзивном интервью.
Стартап предлагает программное решение под названием автопилотная система, которая использует AI для анализа логов и метрик, чтобы помочь масштабировать AI-приложения, регулируя использование GPU и исправляя требования к памяти.
Используя автопилотную систему, Гутгутия сообщил, что один из клиентов TrueFoundry с небольшой командой из двух человек смог обрабатывать 10 миллионов запросов в секунду.
В настоящее время TrueFoundry имеет 30 клиентов по всему миру, а также множество пользователей, получающих доступ к его фреймворку RAG с открытым исходным кодом для экспериментов. Из этих клиентов гигант GPU NVIDIA использует программное обеспечение для создания и развертывания агентов, которые оптимизируют его кластеры GPU. Компания Resmed, занимающаяся медицинскими технологиями, также использует предложение TrueFoundry для разработки внутренней платформы AI. Аналогичным образом среди клиентов есть Siemens Healthineers, Automation Anywhere, Games24x7 и Whatfix.
Стартап спроектировал свое программное обеспечение с использованием Kubernetes, что делает его готовым к работе в многооблачных средах и совместимым со всеми основными облачными платформами, включая AWS, Google Cloud Platform и Azure, среди прочих.
Предприятия, использующие TrueFoundry, создали и запустили свои внутренние платформы AI за два месяца и достигли окупаемости инвестиций за четыре месяца, в отличие от среднего показателя по отрасли в 14 месяцев, заявил Баджадж. Гутгутия добавил, что стартап предоставил своим клиентам около 40-50% сокращения расходов на инфраструктуру, а также 10-кратное увеличение скорости развертывания, независимо от того, работают ли они с агентом, RAG, сложной моделью глубокого обучения или точно настроенной моделью.
Поставщики облачных услуг начали предлагать собственное программное обеспечение для упрощения создания и развертывания моделей AI, например, Sagemaker от Amazon и Vertex от Google Cloud. Тем не менее, Гутгутия сообщил, что решение TrueFoundry по-прежнему актуально, поскольку оно помогает «ускорить использование вычислений» для поставщиков облачных услуг, сократить время выхода на рынок приложений AI и снизить их общие затраты.
Стартап будет использовать финансирование для расширения команды с 45 членов в Индии до позиций по выходу на рынок в США, включая продажи, успех клиентов и маркетинговые роли продукта. Он также планирует инвестировать в партнерства, особенно с поставщиками облачных услуг, и находится в процессе листинга на ключевых облачных рынках, начиная с AWS Marketplace. Кроме того, TrueFoundry планирует запустить своего AI-агента, который поможет предлагать нужные ресурсы и обеспечит автоматическое масштабирование, а также устранение неполадок.
Благодаря новому финансированию TrueFoundry привлекла в общей сложности более 21 миллиона долларов США, включая 2,3 миллиона долларов США в ходе посевного раунда в сентябре 2022 года, организованного Peak XV (тогда Sequoia India) Surge. В прошлом году стартап увеличил свою клиентскую базу в четыре раза и развернул более 1000 кластеров среди клиентов для рабочих нагрузок ML. Гутгутия также сообщил, что его ARR находится «к северу от $1,5 млн» и в этом году он планирует удвоить ее.
Meta* и ее продукты (Facebook, Instagram) запрещены на территории Российской Федерации
Источник
Источник новости: habr.com
