В Сбере открыт доступ к модели генерации текста для русского языка ruGPT-3.5 и расширенной версии нейросети mGPT, способной генерировать тексты на 61 языке. Все разработчики могут использовать их на HuggingFace.

Как сообщили EastRussia в пресс-службе Сбера, ruGPT версии 3.5 — новая версия нейросети ruGPT-3 13B. Доработанная модель содержит 13 млрд параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Финальный чекпоинт модели — это базовый претрейн для дальнейших экспериментов.

Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 млрд параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub.

«Мы уверены, что публикация обученных моделей подстегнет работу российских исследователей и разработчиков, нуждающихся в сверхмощных языковых моделях, создавать на их базе собственные технологические продукты и решения. Пробуйте, экспериментируйте и обязательно делитесь полученными результатами», – сказал руководитель блока «Технологии» Сбербанка Андрей Белевцев.