Модель
LOZA 1.1 0.7B
Русскоязычное когнитивное ядро, которое мы обучаем с нуля. Текущая конфигурация 709M станет основой будущей микро‑MoE‑модели общей ёмкостью 1,5–2,2 млрд параметров.
Статус · сентябрь 2026
Формируется когнитивное ядро
LOZA последовательно прошла конфигурации 511M и 624M; сейчас обучается версия 709M. Это не конечная модель, а когнитивное ядро будущей микро‑MoE‑архитектуры.
После итоговой оценки 709M мы определим следующий шаг: ещё одно расширение ядра либо непосредственный переход к микро‑MoE общей ёмкостью 1,5–2,2B.
- Текущая конфигурация
- 709 млн параметров
- Рост ядра
- 511M → 624M → 709M
- Обучение
- с нуля · собственный цикл
- Целевая архитектура
- микро‑MoE · 1,5–2,2B
Устройство
Ядро и данные
Архитектура
| Класс | когнитивное ядро · 709M |
| Обучение | с нуля, без дистилляции чужих моделей |
| Язык | русский заложен в данные и токенизацию с первого этапа |
| Назначение | основа будущей микро‑MoE‑модели класса 1,5–2,2B |
Данные базового обучения
| Основа | русский язык, литература, культура и профессиональные тексты |
| Навыки | наука, математика, рассуждение и код |
| Подготовка | собственный цикл очистки, отбора и проверки данных |
| Контроль | тестовые наборы отделены от обучения |
Последовательное расширение ядра позволяет измерять результат каждого шага и не расходовать вычисления без подтверждённой пользы. Конфигурация 709M определит дальнейший маршрут архитектуры.
Рост архитектуры
От 511M – к микро‑MoE
01 · 511M
Первое ядро
Начальная конфигурация в последовательной линии масштабирования собственной архитектуры.
02 · 624M
Промежуточное расширение
Следующий размер ядра перед переходом к текущей конфигурации.
03 · 709M
Текущее ядро
Версия, на которой продолжаются базовое обучение и оценка русского языка, знаний, математики и кода.
04 · далее
Архитектурная развилка
По результатам 709M – ещё одно расширение ядра или сразу микро‑MoE общей ёмкостью 1,5–2,2B.
Для принятия решения
Что уже известно – и что ещё проверяем
| Параметр | Текущий статус |
|---|---|
| Текущая модель | LOZA 1.1 · когнитивное ядро 709M |
| Рост архитектуры | 511M → 624M → 709M |
| Следующий шаг | возможное расширение ядра или непосредственный переход к микро‑MoE |
| Целевая ёмкость | 1,5–2,2 млрд параметров в микро‑MoE‑архитектуре |
| Происхождение | обучается со случайных весов на собственном контуре |
| Языковая основа | русский язык в корпусе, токенизации и оценке |
| Свободный доступ | не планируется |
| Будущая поставка | отдельно обученная модель для конкретного предприятия |
| Дообучение | предусматривается под согласованные данные, терминологию и задачи |
| Контур | размещение у предприятия или в согласованной закрытой инфраструктуре |
Дальше
От ядра –
к микро‑MoE
После формирования общей архитектуры для конкретных предприятий смогут отдельно обучаться закрытые специализированные модели с возможностью дообучения. Лаборатория принимает предложения по предметным сценариям, данным и критериям качества.