Илон Маск заявил, что объем реальных данных, доступных для обучения ИИ, практически исчерпан. «Мы уже израсходовали суммарные знания человечества для обучения ИИ. Это произошло, по сути, в прошлом году», — отметил Маск в недавнем стриме на платформе X.com. Глава xAI также подчеркнул, что будущее технологий связано с синтетическими данными — искусственно сгенерированной информацией, создаваемой самими моделями ИИ. Эта точка зрения совпадает с прогнозами Ильи Суцкевера, экс-главы исследовательского отдела OpenAI, который заявил о достижении «пика данных» на конференции NeurIPS в декабре. Суцкевер также предсказал, что нехватка данных вынудит индустрию изменить подходы к разработке моделей. Ведущие компании, такие как Microsoft, OpenAI и Anthropic, уже активно используют синтетические данные. Например, модели Microsoft Phi-4 и Google Gemma были обучены с их применением. Однако, несмотря на экономические преимущества (например, Writer создала модель Palmyra X 004 за $700 тыс против $4.6 млн для аналогичной модели OpenAI), синтетические данные могут привести к «коллапсу модели», снижая её креативность и увеличивая предвзятость.