Модель · обучение

Микро‑MoE CPT

Мегра (Megra) переходит к новому исследовательскому этапу: запущен CPT новой микро‑MoE. Это продолжение предобучения следующей архитектуры, а не релиз готового продукта. Предыдущая конфигурация Megra 1.1 · 709M сохранена отдельной версией вместе с результатами её проверок.

Megra микро‑MoE · CPT · 23.09.2026

Статус · сентябрь 2026

Начат CPT новой микро‑MoE

После этапа Megra 1.1 · 709M лаборатория запустила CPT новой микро‑MoE. Исследование сохраняет самостоятельный цикл подготовки данных, обучения и оценки.

Общее и активное число параметров, число экспертов, слои, контекст и первые результаты будут опубликованы только после фиксации конфигурации и воспроизводимых измерений.

Текущий этап
CPT микро‑MoE
Предыдущая версия
Megra 1.1 · 709M
Линия разработки
511M → 624M → 709M → микро‑MoE
Публичный статус
характеристики — после фиксации

Преемственность

Ядро, данные и новая архитектура

Что сохраняется

Основа разработки новой микро-MoE Megra
Языковая основарусский язык в корпусе, токенизации и оценке
Культурный контекстлитература, история, профессиональная речь и другие русскоязычные источники
Цикл работыподготовка данных, обучение и проверка в лаборатории
Предыдущий результатMegra 1.1 · 709M — отдельная сохранённая конфигурация

Что будет опубликовано позже

Данные, ожидающие фиксации для новой микро-MoE Megra
Архитектурапараметры и эксперты — после фиксации
Контекст и словарьпосле утверждения конфигурации
Объём обученияпосле накопления проверяемого показателя
Оценкиотдельной публикацией после завершения измерений

Контроль над собственным циклом обучения важен не как лозунг, а как возможность понимать происхождение данных, ограничения модели и правила её дальнейшего развития. Поэтому новая архитектура не подменяет предыдущую: каждая конфигурация остаётся доступным снимком работы.

Как читать статус

Этап обучения — не релиз

01 · 511M

Первое ядро

Начальная конфигурация в последовательной линии собственной архитектуры.

02 · 624M

Расширение

Промежуточный размер ядра перед конфигурацией 709M.

03 · 709M

Megra 1.1

Сохранённая версия с опубликованной внутренней и внешней проверкой.

04 · CPT

Микро‑MoE в обучении

Текущий исследовательский этап. Числа и результаты появятся после их подтверждения.

Паспорт статуса

Что уже зафиксировано — и что нет

Статус разработки микро-MoE Megra
ПараметрСтатус
Текущий этапCPT новой микро‑MoE запущен
Публичная предшествующая версияMegra 1.1 · 709M
Параметры новой архитектурыещё не опубликованы
Результаты новой архитектурыещё не опубликованы
Поставка в будущемотдельно обученные модели для конкретных предприятий с возможностью дообучения