Искусственный интеллект Amazon закрыли за дискриминацию по половому признаку

Механизм сортировки резюме на базе искусственного интеллекта разрабатывается в Amazon с 2014 г. группой из 12 специалистов в Эдинбурге. Уже в 2015 г. в компании заметили, что новая система не придерживается принципа гендерной нейтральности при оценке кандидатов на должности разработчиков ПО и другие технические вакансии.

Вскоре они поняли причину: дело в том, что система проходила обучение на резюме, поступивших в компанию за последние 10 лет. Большая часть этих резюме принадлежала мужчинам, что в целом отражает положение дел в ИТ-отрасли. В результате искусственный интеллект Amazon усвоил, что соискатели-мужчины более предпочтительны, чем женщины.

В итоге искусственный интеллект начал отбраковывать резюме, содержавшие слово «женский» в таких, например, выражениях как «капитан женского шахматного клуба». Механизм также снижал оценки выпускницам двух женских колледжей, но источники Reuters не уточняют их названия. Оценивая резюме, искусственный интеллект присваивал им от одной до пяти звезд — очень похоже на то, как покупатели оценивают товары на сайте Amazon.

Один из источников сообщает, что проект закрыт. Другой утверждает, что в Эдинбурге была сформирована новая команда, чтобы продолжить разработку механизма, но на этот раз с уклоном в равноправие и инклюзивность. Еще один источник сообщает, что сильно видоизмененная версия механизма сейчас используется для выполнения рутинной работы — например, для удаления повторяющихся резюме из базы данных. мечательно, что механизм игнорировал слова, обозначающие навыки, которые часто прописаны в резюме ИТ-специалистов, такие как умение писать различные коды и т. п. Вместо этого система отслеживала, например, типичные для мужской речи глаголы в самоописании кандидатов, вроде «выполнил» (executed) или «захватил» (captured), поскольку они регулярно встречались в старых резюме, на которых училась машина. С таким подходом гендерная дискриминация была не единственной проблемой — механизм зачастую рекомендовал на должность людей, не обладающих нужными навыками.