Люди оценивают прогнозы по тому, насколько они подтверждают их правоту.
Результаты нового исследования бросают вызов фундаментальному допущению, лежащему в основе многих систем прогнозирования, инструментов предиктивной аналитики и моделей искусственного интеллекта, которые обычно разрабатываются для минимизации средней ошибки, а не для максимизации вероятности точного попадания.
«Для многих людей цель прогноза — быть правыми, а не просто минимизировать среднюю ошибку, — говорит автор исследования, научный сотрудник Школы бизнеса Бута Чикагского университета Беркли Дитворст. — Это важно понимать тем, кто создает модели предиктивного анализа и часто работает над минимизацией грубых неточностей вместо того, чтобы просто делать прогнозы идеальными».
Дитворст проанализировал 16 исследований, которые охватывали различные задачи прогнозирования и экспериментальные дизайны. Во всех работах участники последовательно демонстрировали то, что ученые называют «уменьшающейся чувствительностью к ошибке прогноза».
В многочисленных экспериментах участникам предлагали распределения вероятностей и просили сделать по ним прогнозы. И люди значительно чаще выбирали варианты, которые делали максимальными их шансы оказаться абсолютно правыми, а не варианты, которые уменьшили бы общую вероятность ошибки.
Нас выбивает из колеи даже небольшая ошибка в прогнозе.Дополнительно специалисты проанализировали эмоциональные реакции на ошибки прогноза, и они оказались не менее показательными. Удовлетворенность резко падала при переходе от «точно угадал» к «чуть-чуть промахнулся». А вот дальнейшее увеличение ошибки — от небольшой к большей — вызывало заметно меньший дополнительный спад удовлетворенности. Иными словами, существует жесткая психологическая граница между «правильно» и «неправильно», а уже степень ошибки — разумеется, в пределах разумного — волнует человека гораздо меньше.
Это создает потенциальный разрыв между тем, как устроены модели, и тем, как пользователи их оценивают. Многие рекомендательные системы, прогнозы спроса, финансовые и погодные модели, а также ИИ‑сервисы оптимизируются под статистические метрики, которые минимизируют среднюю ошибку или вероятность крупных промахов. Но конечные пользователи могут судить их по другому критерию — как часто система дает им ощущение их собственной, стопроцентной правоты.
Дитворст подчеркивает: прежде чем проектировать системы прогнозирования, важно понять, чего на самом деле ждут люди — меньших средних ошибок или максимума «идеальных» попаданий. Иначе даже с математически оптимальной моделью можно столкнуться с низким доверием и негативным отношением к технологиям.
Ранее нейробиологи обнаружили когнитивные преимущества чтения бумажных книг.
Источник новости: hi-tech.mail.ru
