Создан новый метод обучения ИИ для снижения социальных предубеждений

Эрик Слайман из колледжа инженерии Орегонского университета и исследователи из Adobe представили метод FairDeDup, сокращение от fair deduplication, что означает справедливую дедупликацию. Дедупликация позволяет удалить избыточную информацию из данных, используемых для обучения ИИ, снижая высокие вычислительные затраты на этот процесс.

Исследователи отмечают, что данные, собранные из интернета, часто содержат социальные предубеждения. Эти предубеждения могут перейти в обученные модели ИИ и поддерживать несправедливые идеи и поведение.

FairDeDup работает путем уменьшения наборов данных изображений через процесс обрезки, который позволяет выбрать подмножество данных для всего набора. Этот подход учитывает контролируемые человеком измерения разнообразия для смягчения предубеждений.

Исследователи подчеркивают, что их подход позволяет обучать ИИ, который не только точен и экономичен, но и справедлив по отношению ко всем группам пользователей.