Согласно недавнему сообщению в The Wall Street Journal, разработка крупной языковой модели следующего поколения OpenAI, GPT-5, отстает от графика, а достигнутые результаты пока не оправдывают ожиданий, связанных со значительными затратами.
Эта новость согласуется с предыдущим отчетом The Information, который намекнул, что OpenAI может искать новые стратегии, поскольку GPT-5 под кодовым названием «Орион», возможно, не сможет достичь значительного скачка производительности, который наблюдался в предыдущих моделях.
В отчете Wall Street Journal приводятся дополнительные подробности 18-месячного процесса разработки проекта «Орион». В нем говорится, что OpenAI провела как минимум две масштабные тренировки, направленные на повышение производительности модели за счет массивной обработки данных. Однако первая тренировка прошла медленнее, чем ожидалось, что говорит о том, что даже более масштабные тренировки потребуют значительного времени и ресурсов.
Хотя в отчете говорится, что производительность GPT-5 превосходит ее предшественницу, уровень достигнутого прогресса пока не оправдывает огромных затрат, необходимых для поддержания работы этой модели.
Помимо использования общедоступных данных и лицензионных соглашений, в отчете сообщается, что OpenAI нанимает персонал для создания совершенно новых наборов данных путем написания кода или решения математических задач. В процессе разработки GPT-5 компания также использует синтетические данные, сгенерированные другой ее моделью, o1.
На момент написания статьи OpenAI еще не отреагировала на эти сообщения. Ранее компания заявляла, что не выпустит модель «Орион» в этом году.
