Hugging Face trending modelspublished Sep 12, 10:32 UTC (14d ago)ingested Sep 21, 19:50 UTCby yandex

yandex/AliceAI-Foundation-80B-A3B-Base — new model trending #30 on Hugging Face

AI summary · glm-5.3

Yandex open-sources AliceAI-Foundation-80B-A3B-Base, a hybrid MoE base model with 3B active parameters and 262k context.

Yandex released AliceAI-Foundation-80B-A3B-Base, an autoregressive base language model trained from scratch with 80B total parameters and 3B active per token, a 262,144-token context, and a hybrid architecture mixing KDA (Kimi Delta Attention-style) and gated attention layers with a 512-expert MoE (top-10 plus 1 shared expert) and one MTP layer. Key architectural and data decisions were validated in separate from-scratch runs of 2 trillion tokens each. It claims results on par with larger open-source models on math and coding, and posts 86.5 on WikiWebFacts and 67.9 on HardMultiQA, beating Qwen3.5-35B-A3B-Base, GLM-4.5-Air-Base, Nemotron-3-Super-120B-A12B-Base, and DeepSeek-V4-Flash-Base, with particular strength in Russian factual knowledge. Yandex also released the WikiWebFacts and HardMultiQA Russian-language factual benchmark datasets and evaluation protocols alongside the weights.

80B total / 3B active MoE base model with 262k context released as open weights
Hybrid KDA + gated attention architecture with 512 experts and MTP layer
Trained from scratch; key decisions validated in separate 2T-token runs
Tops Russian factual benchmarks versus Qwen3.5, GLM-4.5-Air, Nemotron-3, DeepSeek-V4-Flash
Benchmark datasets WikiWebFacts and HardMultiQA published with the weights

Read the original

Tags#aliceai #base-model #llm #long-context #moe #open-weights #russian #yandex

Full article947 words · extracted from huggingface.co · click to collapse

# AliceAI-Foundation-80B-A3B-Base

[English version](./README_en.md)

AliceAI-Foundation-80B-A3B-Base – базовая языковая модель с гибридной

архитектурой и MoE-слоями. Модель содержит 80 млрд параметров, из которых для каждого токена активируются 3 млрд, и поддерживает контекст длиной до 262 144 токенов. Модель была обучена полностью с нуля.

При создании модели мы заново собрали обучающий корпус, выбрали архитектуру и

гиперпараметры, а также подготовили данные для сложных рассуждений и

взаимодействия с инструментами. Ключевые решения проверялись в серии отдельных

обучений с нуля объёмом по 2 трлн токенов каждое.

В математике, программировании и других задачах на рассуждения модель показывает результаты на уровне более крупных опенсорс-моделей, а особенно сильна в задачах на фактические знания на русском языке. Вместе с весами мы публикуем фактологические бенчмарки

[WikiWebFacts](https://huggingface.co/datasets/yandex/WikiWebFacts) и

[HardMultiQA](https://huggingface.co/datasets/yandex/HardMultiQA), ориентированные на

русскоязычный контекст, и протоколы их оценки.

Подробно про эту модель можно прочитать в [статье на Хабре](https://habr.com/ru/companies/yandex/articles/1083300/).

## Обзор модели

- Тип: авторегрессионная языковая модель

- Этап обучения: предобучение

- Языковая модель

- Количество параметров: 80B всего, 3B активных

- Размер скрытого состояния: 2048

- Размер словаря: 129024

- Количество слоев: 48

- Схема слоёв: 12 × (3 × (KDA → MoE) → 1 × (Gated Attention → MoE))

- KDA:

- Количество query-голов: 32

- Количество KV-голов: 32

- Размерность query-головы: 128

- Размерность KV-головы: 128

- Рамер ядра свертки: 4

- Gated Attention:

- Количество query-голов: 16

- Количество KV-голов: 2

- Размерность query-головы: 256

- MoE:

- Количество экспертов: 512

- Top-K: 10 + 1 общий эксперт

- Промежуточная размерность эксперта: 512

- MTP: 1 слой

- Длина контекста: 262144

## Бенчмарки

Названия русскоязычных бенчмарков выделены зелёным, англоязычных — синим.