Google представила нейромодель Gemini 1.5

Компания Google выпустила первое крупное обновление семейства языковых моделей (LLM) Gemini, которое впечатляет своим увеличенным контекстом. Новая версия, Gemini 1.5, может обрабатывать до 128 000 токенов, что является значительным улучшением по сравнению с предыдущей версией Gemini 1.0 Pro, которая могла работать только 32 000 токенов.

Однако, это не единственное нововведение. Ограниченная группа разработчиков и корпоративных клиентов получила доступ к версии Gemini 1.5 Pro с контекстом в 1 миллион токенов, что примерно соответствует часу видео, 11 часам аудио или 700 000 слов. Это позволяет анализировать, например, всю трилогию “Властелин колец” в полном объеме.

Объем контекста влияет на способность нейронной модели обрабатывать и анализировать информацию, а также на ее способность “помнить”. Чем больше контекст, тем точнее алгоритм. Google утверждает, что Gemini 1.5 Pro обеспечивает качество, сопоставимое с флагманской моделью Gemini 1.0 Ultra, используя при этом меньшее количество вычислительных ресурсов. Улучшенная модель также превосходит Gemini 1.0 Pro в 87% бенчмарк-тестов.

Gemini 1.5 Pro также внедряет более эффективный архитектурный подход, Mixture-of-Experts (MoE). Суть его заключается в том, что параметры модели делятся на несколько “экспертных” групп. Например, в задаче перевода текста активируется только та группа, которая соответствует запросу, вместо того чтобы вовлекать всю модель целиком.

В ближайшем будущем, Gemini 1.5 Pro с контекстом 128 000 токенов заменит версию 1.0 на сервисе gemini.google.com и в мобильных приложениях Google. Однако, за возможность использования модели с контекстом 1 миллион токенов придется заплатить дополнительно.