Алгоритмический суд: почему программа COMPAS вызвала споры об объективности нейросетей

Передача права принятия решений алгоритмам искусственного интеллекта первоначально воспринималась как способ избавить общество от человеческой предвзятости, коррупции и эмоций. Однако практическое внедрение нейросетей в юридическую и правоохранительную сферу показало обратный эффект. Ярким примером стала система COMPAS, используемая в судах США для оценки риска повторного совершения преступлений (рецидивизма) подсудимыми.

Как работает программа оценки рисков COMPAS

Система COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) анализирует ответы подсудимого на сотни вопросов анкеты, а также его социальную и криминальную историю. На основе статистической модели алгоритм выдает балл риска от 1 до 10.

Судьи используют эти баллы при принятии решений о залоге, определении длительности тюремного заключения или возможности условно-досрочного освобождения.

Эффект «черного ящика» и проявление предвзятости

В 2016 году журналисты независимой организации ProPublica провели масштабное расследование работы алгоритма COMPAS и выявили серьезные искажения:

• Расовый и социальный перекос: Программа в два раза чаще выдавала ложноположительный высокий риск рецидива для чернокожих граждан по сравнению с белыми подсудимыми со схожими статьями.
• Засекреченность логики: Компания-разработчик Northpointe отказалась раскрыть код алгоритма, сославшись на коммерческую тайну. Система работает как «черный ящик».
• Косвенные признаки: Входные параметры (почтовый индекс, доход семьи, ответы о друзьях) косвенно дублировали социальное неравенство.

Сравнение человеческого и алгоритмического суждения

Проблема COMPAS показала фундаментальное различие между математической статистикой и справедливостью.

Совет от gazetainform.com

Внедряя ИИ-сервисы в бизнес или государственное управление, требование прозрачности и объяснимости решений (Explainable AI) должно быть обязательным условием. Никогда не полагайтесь на слепые выводы «черных ящиков». Читайте обзоры цифровой этики на gazetainform.com.