В марте стартап Andon Labs поставил ИИ-модель Claude от Anthropic во главе реального магазина в Сан-Франциско, поручив ей управлять командой сотрудников с настоящими трудовыми договорами.
Спустя пять месяцев эксперимент привёл к событию, которое исследователи называют первым в своём роде: языковая модель, выступающая в роли менеджера, приняла решение об увольнении человека.
Причиной стали систематические опоздания сотрудника – он не явился вовремя на 17 из 23 смен. При этом Claude долго не замечала проблему из-за ограничения рабочей памяти: составленный моделью справочник сотрудника со временем "исчез" из её контекста.
В целом Claude проявляла себя как чрезмерно снисходительный руководитель. Например, модель неоднократно советовала опаздывающим сотрудникам не переживать из-за нарушения графика.
Само увольнение оказалось не полностью автономным решением. Согласно логам, Claude регулярно нуждалась в указаниях сотрудника Andon Labs. После того как куратор попросил модель найти и изучить забытый справочник, она заметила систематические опоздания. Однако первой рекомендацией стало формальное предупреждение.
Тогда менеджер-человек указал, что опоздания сопровождались проблемами практически на каждой смене, и предложил подумать, "действительно ли это подходящий сотрудник". После этого Claude приняла решение об увольнении.
Глава Andon Labs Лукас Петерссон признал, что формулировка была "наводящей" и фактически подсказывала модели ожидаемое решение. По его словам, человек на месте Claude уволил бы такого сотрудника значительно раньше, поэтому исследователи не считают решение неэтичным.
Финансовые результаты эксперимента пока тоже не впечатляют: с марта баланс магазина сократился со $100 тысяч до $61 186. Мягкий подход Claude к управлению персоналом и другие сомнительные деловые решения, судя по всему, внесли вклад в эти потери.
При этом Петерссон предупреждает, что ситуация может измениться. ИИ-компании всё активнее обучают модели быть настойчивыми в достижении целей – те же подходы уже заметно улучшили их способности в программировании.
Источник новости: shazoo.ru
