В недавнем исследовании поставили под сомнение успехи GPT-4 на экзамене на адвоката, которые ранее широко освещались в СМИ. В прошлом году OpenAI заявила, что GPT-4 превзошел 90% стажеров-юристов на барном экзамене, вызвав тем самым большой ажиотаж. Однако новое исследование показывает, что это заявление было преувеличено. Исследование, опубликованное в журнале Artificial Intelligence and Law, указывает, что модель GPT-4 действительно не достигала топ-10% по результатам экзамена. Она показала высокие результаты только в сравнении с теми, кто сдавал экзамен повторно, а это обычно менее успешная группа. Более того, GPT-4 существенно отстал в разделе экзамена, требующем написания эссе, попав только в 15-й перцентиль среди перворазрядников. Это особенно важно, так как эссе наиболее близки к задачам, с которыми сталкиваются практикующие юристы. Отметим, что данное исследование подчеркивает необходимость осторожного подхода к использованию ИИ в юридической практике, учитывая его склонность к созданию «галлюцинаций» — выдуманных фактов или связей.