Наука и технологии1 мин.

Илон Маск: совсем скоро ИИ будет не на чем учить из-за нехватки реальных данных

По сути, это даже уже произошло
Илон Маск заявил, что объем реальных данных, доступных для обучения ИИ, практически исчерпан.

«Мы уже израсходовали суммарные знания человечества для обучения ИИ. Это произошло, по сути, в прошлом году», — отметил Маск в недавнем стриме на платформе X.com.

Глава xAI также подчеркнул, что будущее технологий связано с синтетическими данными — искусственно сгенерированной информацией, создаваемой самими моделями ИИ.

Эта точка зрения совпадает с прогнозами Ильи Суцкевера, экс-главы исследовательского отдела OpenAI, который заявил о достижении «пика данных» на конференции NeurIPS в декабре.

Суцкевер также предсказал, что нехватка данных вынудит индустрию изменить подходы к разработке моделей.

Ведущие компании, такие как Microsoft, OpenAI и Anthropic, уже активно используют синтетические данные.

Например, модели Microsoft Phi-4 и Google Gemma были обучены с их применением. Однако, несмотря на экономические преимущества (например, Writer создала модель Palmyra X 004 за $700 тыс против $4.6 млн для аналогичной модели OpenAI), синтетические данные могут привести к «коллапсу модели», снижая её креативность и увеличивая предвзятость.

Источник:TechCrunch