Новый эталон TRUEBench разработали для тестирования производительности больших языковых моделей. Этот бенчмарк используют в реальных бизнес-сценариях и с многоязычными задачами. Разработчики утверждают, что методика может повысить точность оценки способностей искусственного интеллекта в разных условиях.
Бенчмарк включает набор тестов, которые имитируют реальные запросы пользователей в корпоративной среде. Система оценивает качество ответов модели на нескольких языках, включая английский, китайский, испанский и арабский. Каждый тест измеряет точность, последовательность и релевантность ответов искусственного интеллекта.
Архитектура TRUEBench построена на модульной системе, которая позволяет добавлять новые типы заданий без переписывания основного кода. Бенчмарк поддерживает интеграцию с популярными платформами для развертывания языковых моделей, включая NVIDIA Triton и TensorFlow Serving. Система может работать с моделями разных архитектур, от трансформеров до моделей с группировкой запросов.
Методика тестирования включает три основных категории заданий: поиск информации, анализ тональности текста и генерация технической документации. Для каждого типа заданий разработали шкалу оценки от 0 до 100 баллов, где высший балл соответствует ответу профессионального эксперта в данной области. Система автоматически проверяет фактологическую точность с помощью верифицированных баз знаний.
Разработчики бенчмарка провели сравнительное тестирование десяти популярных языковых моделей, включая GPT-4, Claude 3 и Llama 3. Результаты показали разброс производительности от 68 до 94 баллов в зависимости от типа задания и языка запроса. Наибольшие расхождения в качестве ответов наблюдали при работе с технической документацией на китайском языке, где разрыв между лучшей и худшей моделью составил 42 балла.
Особенность TRUEBench — использование адаптивных тестовых сценариев, которые изменяют сложность в зависимости от предыдущих ответов модели. Этот подход позволяет точнее определить предельные возможности искусственного интеллекта при работе со сложными многоуровневыми запросами. Система генерирует персонализированные тесты для каждой модели на основе ее слабых и сильных сторон, выявленных в ходе предварительного тестирования.
Бенчмарк уже применяют в финансовом секторе для тестирования моделей, которые обрабатывают клиентские запросы. В телекоммуникационной компании Vodafone используют TRUEBench для сравнения эффективности разных версий языковых моделей перед их развертыванием в колл-центрах. По словам представителей компании, система помогла снизить количество ошибок при автоматической обработке запросов на 27 процентов по сравнению с предыдущей методикой тестирования.
Техническая реализация TRUEBench требует значительных вычислительных ресурсов — полный цикл тестирования одной модели занимает от 12 до 48 часов на кластере из восьми графических ускорителей NVIDIA A100. Разработчики работают над оптимизацией кода, чтобы сократить время тестирования до 6 часов без потери точности измерений. Планируют выпустить облачную версию платформы для удаленного тестирования моделей с ограниченными вычислительными мощностями.
Критики метода отмечают, что хотя TRUEBench охватывает больше языков, чем предыдущие бенчмарки, он все еще слабо представляет языки с правосторонним написанием, такие как арабский и иврит. Разработчики признают этот недостаток и анонсировали выход обновления в следующем квартале, которое добавит поддержку еще двенадцати языков, включая хинди и суахили.
Академическое сообщество уже использует TRUEBench в исследовательских целях. В Массачусетском технологическом институте применили этот бенчмарк для изучения культурных особенностей в ответах языковых моделей. Результаты исследования показали, что модели, обученные на мультиязычных данных, демонстрируют на 15 процентов лучшие результаты при работе с идиомами и культурными отсылками.
Страница TRUEBench находится здесь.
