Модель
Архив Megra
Мегра (Megra) — русскоязычное когнитивное ядро, которое мы обучаем с нуля. Текущая конфигурация 709M станет основой будущей микро‑MoE‑модели общей ёмкостью 1,5–2,2 млрд параметров и закрытых систем комплексной автоматизации предприятий.
Статус · сентябрь 2026
Формируется когнитивное ядро
Megra последовательно прошла конфигурации 511M и 624M; сейчас обучается версия 709M. Это не конечная модель, а когнитивное ядро будущей микро‑MoE‑архитектуры.
После итоговой оценки 709M мы определим следующий шаг: ещё одно расширение ядра либо непосредственный переход к микро‑MoE общей ёмкостью 1,5–2,2B.
- Текущая конфигурация
- 709 млн параметров
- Рост ядра
- 511M → 624M → 709M
- Обучение
- с нуля · собственный цикл
- Целевая архитектура
- микро‑MoE · 1,5–2,2B
Устройство
Ядро и данные
Мегра в цифрах и фактах
| Версия | Megra 1.1 · базовое обучение |
| Параметры | 709 млн · текущая конфигурация ядра |
| Слои | 46 |
| Контекст | 2 048 токенов |
| Словарь | 50 368 токенов |
| Обучение | с нуля, без дистилляции чужих моделей |
Данные базового обучения
| Объём обучения | ≈46,8 млрд обработанных токенов накопленно |
| На параметр | 66 токенов накопленно |
| Основа | русский язык, литература, культура и профессиональные тексты |
| Навыки | наука, математика, рассуждение и код |
| Подготовка | собственный цикл очистки, отбора и проверки данных |
| Контроль | тестовые наборы отделены от обучения |
Данные на 7 сентября 2026 года. Объём обучения рассчитан по накопленному показателю: 66 токенов на параметр × 709 млн параметров. Это число обработанных токенов, а не размер уникального корпуса.
Рост архитектуры
От 511M – к микро‑MoE
01 · 511M
Первое ядро
Начальная конфигурация в последовательной линии масштабирования собственной архитектуры.
02 · 624M
Промежуточное расширение
Следующий размер ядра перед переходом к текущей конфигурации.
03 · 709M
Текущее ядро
Версия, на которой продолжаются базовое обучение и оценка русского языка, знаний, математики и кода.
04 · далее
Архитектурная развилка
По результатам 709M – ещё одно расширение ядра или сразу микро‑MoE общей ёмкостью 1,5–2,2B.
Для принятия решения
Что уже известно – и что ещё проверяем
| Параметр | Текущий статус |
|---|---|
| Текущая модель | Megra 1.1 · когнитивное ядро 709M |
| Рост архитектуры | 511M → 624M → 709M |
| Следующий шаг | возможное расширение ядра или непосредственный переход к микро‑MoE |
| Целевая ёмкость | 1,5–2,2 млрд параметров в микро‑MoE‑архитектуре |
| Происхождение | обучается со случайных весов на собственном контуре |
| Языковая основа | русский язык в корпусе, токенизации и оценке |
| Свободный доступ | не планируется |
| Будущая поставка | отдельно обученная модель для конкретного предприятия |
| Дообучение | предусматривается под согласованные данные, терминологию и задачи |
| Контур | размещение у предприятия или в согласованной закрытой инфраструктуре |
| Целевые процессы | 1С и бухгалтерия, юридические консультации, почта, серверы, документация и другие повторяемые операции |
Дальше
От ядра –
к микро‑MoE
После формирования общей архитектуры для конкретных предприятий смогут отдельно обучаться закрытые специализированные модели с возможностью дообучения. Цель – комплексная автоматизация: работа с 1С и бухгалтерским учётом, подготовка юридических консультаций, управление почтой и серверами, изучение и составление внутренней документации и другие регламентные процессы. Лаборатория принимает предложения по сценариям, данным и критериям качества.