Исследователи создали модель AI, которая может понимать и объяснять медицинские изображения на двух языках. Международная команда под руководством исследователей из Университета имени Мохаммеда бин Заида разработала BiMediX2, первую в своем роде систему AI, способную анализировать и описывать медицинские изображения на английском и арабском языках. Система работает с широким спектром медицинских изображений, от рентгеновских снимков и МРТ до микроскопических изображений, предоставляя подробные описания и отвечая на вопросы о том, что она видит, на любом из языков. Согласно техническому отчету, в ходе тестирования BiMediX2 показала значительные улучшения по сравнению с существующими технологиями, демонстрируя на 9% лучшие результаты для английского текста и впечатляющие 20% улучшения для арабского контента, согласно техническому отчету.
Впечатляющие результаты системы обусловлены обучением на огромном наборе данных, содержащем 1,6 миллиона медицинских текстов и изображений. Чтобы обеспечить точность на обоих языках, команда использовала GPT-4o для создания начальных переводов на арабский, которые затем проверялись медицинскими экспертами на качество. Под капотом BiMediX2 работает на архитектуре Llama 3.1, специально настроенной для медицинских приложений. В тестах она оказалась лучше GPT-4o в выявлении некорректной медицинской информации.BiMediX2 объединяет Vision Encoder, Meta Llama 3.1 и GPT-4o,автоматически переводя результаты с английского на арабский и обратно
Хотя результаты обнадеживают, исследователи подчеркивают, что BiMediX2 в настоящее время предназначена только для исследований, а не для клинического использования. Как и все системы AI, она все еще может совершать ошибки или генерировать некорректную информацию. Команда сделала модели BiMediX2 доступными на Hugging Face и представила BiMed-MBench, новый двуязычный бенчмарк для тестирования аналогичных систем.
Источник
Источник новости: habr.com
