GigaChat от Сбера вошел в пятерку лучших языковых моделей мира

Москва, 15 марта, 2024, 14:58 — ИА Регнум. Нейросеть GigaChat, разработанная Сбером, вошла в пятерку лучших AI-моделей в мире по версии авторитетного делового журнала Arabian Business. Это единственное российское решение, которое вошло в международный бенчмарк.

Эксперты проверяли производительность модели как на ее «родном» языке, так и при ответах на вопросы на другом языке. В оценке моделей использовали метод параллельного тестирования AI-моделей, который был разработан ChipAI для обеспечения справедливого и всестороннего их сравнения. Аналитики провели серию тестов, в ходе которых результаты оценивались экспертами, которые не знали о названии модели, стоящей за каждым ответом. Метод включал в себя множество задач — языковой перевод, творческое письмо, генерация кода и анализ данных для оценки универсальности и глубины понимания каждой модели. Критерии оценки были адаптированы к заявленным возможностям рассматриваемой модели и включали такие показатели, как точность, последовательность, релевантность и способность обрабатывать нюансы подсказок.

Эксперты рейтинга отметили: «GigaChat обучался преимущественно на русском языке, поэтому получил максимальный балл не только в данном рейтинге, но и вообще был признан лучшим в ответах на русском языке. GigaChat также получил очень высокий балл за ответы на английском языке».

Помимо GigaChat в рейтинг были включены нейросети от OpenAI, Google, Anthropic и других крупнейших мировых разработчиков.