О лаборатории
Русский язык –
в основе
Promezis – независимая лаборатория полного цикла. Мы сами готовим данные, начинаем обучение со случайных весов и развиваем LOZA – русскоязычное когнитивное ядро будущей микро‑MoE‑модели.
Миссия
Мы создаём ИИ, для которого русский язык – не перевод и не надстройка, а исходная среда обучения.
Promezis исследует, как построить полноценный русскоязычный ИИ при минимально необходимых вычислениях. Когнитивное ядро LOZA выросло от 511M до 624M и 709M; следующий шаг – возможное расширение ядра либо переход к микро‑MoE общей ёмкостью 1,5–2,2 млрд параметров. Будущие прикладные модели будут отдельно обучаться для конкретных предприятий, поставляться им в закрытом формате и допускать дообучение под предметную область.
Принципы
Что мы делаем сами
01
Начинаем со случайных весов
LOZA не является локализацией или оболочкой над чужой моделью. Мы управляем её архитектурой, данными, обучением и развитием.
02
Строим русский фундамент
Русский язык заложен в корпус, токенизацию и систему оценки с первого этапа обучения.
03
Наращиваем ядро последовательно
Конфигурации 511M, 624M и 709M позволяют проверять каждое расширение до перехода к микро‑MoE.
04
Проверяем каждое изменение
Сильные и слабые стороны фиксируются на одинаковых тестах. Промежуточные результаты публикуются с условиями и ограничениями.
Возможные области
Будущие прикладные направления
ПРЕДПРИЯТИЯ
Документы и внутренние знания
Отдельная модель для работы с русскоязычными материалами в инфраструктуре предприятия.
РАЗРАБОТЧИКИ
Специализированные системы
Модель как компонент внутреннего сервиса или прикладного решения, а не как свободно распространяемый универсальный продукт.
ПРОФЕССИОНАЛЬНЫЕ КОМАНДЫ
Отраслевая терминология
Дообучение на согласованных материалах, регламентах и языке конкретной предметной области.
Предложения лаборатории
Что можно предложить
01 · СЦЕНАРИЙ
Предметная задача
Описание рабочего процесса, типов документов и ограничений, которые важно учитывать при проверке модели.
02 · МАТЕРИАЛЫ
Язык предметной области
Примеры терминологии, форматов и требований, характерных для конкретной отрасли или профессии.
03 · КРИТЕРИИ
Способ оценки
Показатели, по которым можно предметно сравнить базовую и будущую дообученную модель.