GPT-4 провалил экзамен на адвоката

В прошлом году OpenAI заявила, что GPT-4 превзошел 90% стажеров-юристов на барном экзамене, вызвав тем самым большой ажиотаж. Однако новое исследование показывает, что это заявление было преувеличено.

Исследование, опубликованное в журнале Artificial Intelligence and Law, указывает, что модель GPT-4 действительно не достигала топ-10% по результатам экзамена.

Она показала высокие результаты только в сравнении с теми, кто сдавал экзамен повторно, а это обычно менее успешная группа.

Более того, GPT-4 существенно отстал в разделе экзамена, требующем написания эссе, попав только в 15-й перцентиль среди перворазрядников. Это особенно важно, так как эссе наиболее близки к задачам, с которыми сталкиваются практикующие юристы.

Отметим, что данное исследование подчеркивает необходимость осторожного подхода к использованию ИИ в юридической практике, учитывая его склонность к созданию «галлюцинаций» — выдуманных фактов или связей.