Обновления

Запущен CPT новой микро‑MoE

После этапа Megra 1.1 · 709M лаборатория начала CPT новой микро‑MoE. Параметры архитектуры и первые измерения будут опубликованы после их фиксации.

Опубликована выгрузка Megra 1.1 · 709M из MERA 1.0

Megra 1.1 709M (SFT‑4096) получила 0,22 в итоговом показателе MERA 1.0. Опубликованы все 23 значения из выгрузки и CSV.

Источник: MERA: описание внешней оценки ↗

Базовое обучение ядра 709M продолжается

После конфигураций 511M и 624M продолжается обучение ядра 709M. Итоговая оценка определит следующий шаг: расширение ядра или переход к микро‑MoE.

Megra 0.7B: сравнение с Qwen3-0.6B-Base

Результаты на 14 задачах и трёх языковых выборках. На этом этапе Megra показывает более высокие результаты в русской грамматике и предсказании текста; знания и математика остаются зонами развития.

Создана основа данных и токенизации

Подготовлены русскоязычные данные для языка, культуры, науки, математики и кода; создан токенизатор для собственного цикла обучения.

Проект Promezis стартует

Сформулирована задача: с нуля создать русскоязычное когнитивное ядро, последовательно масштабировать его и пройти весь цикл обучения без зависимости от чужих весов.