Искусственный интеллект создает дилемму для компаний: если его не внедрять, можно упустить шанс на повышение эффективности и другие преимущества; но неправильное внедренный AI может создать значительные риски для бизнеса и клиентов. Здесь на помощь приходят новые стартапы по обеспечению безопасности искусственного интеллекта, которые обращают внимание на такие угрозы, как джейлбрейк и уязвимости при эксплуатации.
Подобно израильскому стартапу Noma и американским конкурентам Hidden Layer и Protect AI британский университетский спин-офф Mindgard является одним из них. Генеральный директор и технический директор Mindgard, профессор Питер Гарраган, обращает внимание на то, что AI остается программным обеспечением, следовательно, ему присущи все известные киберриски. Однако темная природа и случайное поведение нейронных сетей требуют нового подхода к безопасности.
Mindgard использует динамическое тестирование безопасности AI-приложений (DAST-AI), чтобы выявлять уязвимости, заметные только в процессе работы. Это включает в себя непрерывное и автоматизированное «красное» тестирование, чтобы моделировать атаки, используя библиотеку угроз Mindgard, например, проверяя устойчивость классификаторов изображений к враждебным данным.
Технология Mindgard основана на опыте Гаррагана, специализирующегося на безопасности AI. Эта сфера стремительно развивается — когда Гарраган начинал, ChatGPT еще не существовал, но он предвидел угрозы для NLP и моделей изображений. Стандарты LLM и угрозы продолжают меняться, и Гарраган уверен, что сотрудничество с Университетом Ланкастера позволит компании идти в ногу со временем. Mindgard получит права на интеллектуальную собственность 18 исследователей-докторантов в ближайшие годы, что является уникальной возможностью.
Хотя Mindgard связана с исследовательской деятельностью, она уже предлагает коммерческую SaaS-платформу, управляемую соучредителем и исполнительным директором Стивом Стритом. Компания также сотрудничает с AI-стартапами, которым необходимо демонстрировать своим клиентам защиту от рисков AI.
С увеличением числа клиентов в США Mindgard добавила немного американского стиля в свою работу. После получения 3 миллионов фунтов стерлингов в 2023 году, компания объявила о новом раунде финансирования в 8 миллионов долларов, проведенном бостонской .406 Ventures, с участием Atlantic Bridge, WillowTree Investments и других инвесторов.
Финансирование будет направлено на развитие команды, продуктовых разработок и исследований, а также выход на рынок в США. Недавно назначенный вице-президент по маркетингу, бывший исполнительный директор Next DLP Фергал Глинн, работает из Бостона, но исследования и разработки остаются в Лондоне.
Несмотря на небольшой штат из 15 человек, который планируется расширить до 20-25 к концу следующего года, Mindgard готовится к будущему, когда AI станет повсеместным. Гарраган подчеркивает, что компания создана для блага общества, чтобы люди могли доверять AI и использовать его безопасно.
Источник
Источник новости: habr.com
