Исследователи «Яндекса» совместно с учёными ИСП РАН и Сеченовского Университета на практике опробовали федеративное машинное обучение — новый подход к созданию нейросетей. Этот подход предназначен для проектов, где есть несколько участников с собственными датасетами. Он позволяет организациям коллективно обучать модели, не передавая никому свои данные.
Используя федеративный подход, исследователи создали нейросеть, которая по данным электрокардиограмм выявляет фибрилляцию предсердий — одну из самых распространённых патологий сердца. Для обучения использовались два независимых датасета с электрокардиограммами: от Сеченовского университета и от ИСП РАН. Оба партнёра провели раунды обучения на своей стороне, а затем передали результаты в общий контур.
«Сперва модель обучается на каждом из датасетов участников проекта. На центральный сервер передаются не сами датасеты, а результаты их обработки — к примеру, изменения в весах модели. Именно на них затем обучается глобальная модель. Таким образом, датасеты на протяжении всего процесса обучения не покидают контуры организаций — и никто, кроме владельцев, не может получить к ним доступ», — объяснили в «Яндексе».
Проект реализовали эксперты центра технологий для общества Yandex Cloud. За техническую составляющую проекта отвечали инженеры Yandex Cloud и ИСП РАН. В Yandex Cloud продумали этапы реализации, предложили стек технологий, создали унифицированную среду для обучения и рассчитали необходимый объём ресурсов. В ИСП РАН разработали модель и адаптировали её под опенсорсный фреймворк федеративного обучения. Сеченовский Университет дал экспертную оценку качества модели.
В будущем воспользоваться федеративным машинным обучением смогут клиенты Yandex Cloud. Новый подход позволит участвовать в совместных проектах организациям, которые раньше не могли сотрудничать из-за рисков, связанных с передачей чувствительных данных. Это, в свою очередь, повысит качество итоговых моделей — чем больше партнёров в проекте, тем больше данных для обучения, подчёркивают в компании.
Источник новости: habr.com
