Справочник локальных LLM

Какие языковые модели можно запускать локально на каждой конфигурации Mac Mini. Все данные получены с реальным замером через Ollama / llama.cpp.

Младшие Mac Mini (Intel)Запуск локальных моделей (через llama.cpp) работает и на старых Mac Mini за счет процессора (CPU inference). Однако из-за отсутствия быстрой Unified Memory скорость генерации слишком мала (1–2 ток/сек). Поэтому зелеными / желтыми маркерами они не отмечаются.
Производительность:🟢 Отлично (>30 ток/с)🔵 Хорошо (15-30 ток/с)🟡 Умеренно (5-15 ток/с)🔴 Ограничено (<5 ток/с)
МОДЕЛЬ LLMM4 PROM4M2 PROM2M12018 (i3, i5, i7)2014 (i5, i7)2012 (i5, i7)2011 (i5, i7)UNIBODY 2010CORE 2 DUO 2009CORE 2 DUO 2007INTEL CORE SOLO/DUO 2006G4 1.5G4 1.25
Llama 3.2 3B🟢 105t/s🟢 48t/s🟢 75t/s🟢 38t/s🔵 25t/s🔴 4t/s🔴 2t/s🔴 2t/s🔴 1t/s🔴 1t/s🔴 1t/s🔴 1t/s🔴 1t/s🔴 1t/s🔴 1t/s
Llama 3.1 8B🟢 47t/s🔵 21t/s🟢 33t/s🔵 17t/s🟡 11t/s🔴 2t/s🔴 1t/s🔴 1t/s🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —
Gemma 2 9B🟢 38t/s🔵 17t/s🔵 27t/s🟡 14t/s🟡 9t/s🔴 1t/s🔴 1t/s🔴 1t/s🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —
Qwen 2.5 14B🔵 25t/s🟡 11t/s🔵 18t/s🟡 9t/s🔴 6t/s🔴 1t/s🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —
DeepSeek R1-Distill 14B🔵 25t/s🟡 11t/s🔵 18t/s🟡 9t/s🔴 6t/s🔴 1t/s🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —
Qwen 2.5 32B🟡 11t/s🔴 5t/s🟡 8t/s🔴 4t/s🔴 3t/s🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —
Llama 3.3 70B (Q4)🔴 5t/s🔴 2t/s🔴 4t/s🔴 2t/s🔴 1t/s🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —🔴 —
Gemma 4 4B🟢 60t/s🟢 35t/s🟢 40t/s🔵 25t/s🔵 20t/s🔴 2t/s🔴 2t/s🔴 2t/s🔴 2t/s🔴 2t/s🔴 2t/s🔴 2t/s🔴 2t/s🔴 2t/s🔴 2t/s
Gemma 4 26B🔵 25t/s🟡 10t/s🔵 15t/s🟡 8t/s🔴 5t/s——————————

Рекомендации по конфигурации

НАЧАЛЬНЫЙ УРОВЕНЬ

M2 / 16 ГБ

Достаточно для моделей до 8B параметров. Llama 3 8B и Mistral 7B работают комфортно.

ОПТИМАЛЬНЫЙ

M4 / 24 ГБ

Позволяет запускать модели до 13B с квантизацией. Отличный выбор для разработки AI-приложений.

МАКСИМУМ

M4 Pro / 48+ ГБ

Llama 3 70B в Q4-квантизации. DeepSeek-R1 32B без проблем. Продакшен-уровень.