Хотите запустить нейросеть локально (дома, в лаборатории), но путаетесь: мини-ПК, десктоп, сервер, облако, MacBook, Mac mini, Mac Studio? Нужен ли NPU, сколько ОЗУ и с какой пропускной способностью? Выберите модель — и увидите сколько нужно памяти, какое железо влезает и с какой скоростью. Главное — поймёте принцип, чтобы выбирать самому.
🧭 Первый раз здесь? Как читать этот разделсвернуть ▾
Идея простая: «локальная модель» — это ИИ вроде ChatGPT, но он работает на ТВОём компьютере, без интернета и приватно. Тут мы прикидываем, какая модель тебе нужна и на каком железе она поедет.
Порядок: 1) выбери сценарий (зачем тебе ИИ) — он подставит модель и настройки; 2) посмотри карточку модели ниже — что умеет, где взять; 3) сколько нужно памяти; 4) какое железо влезает и за сколько; 5) сколько ждать ответа на реальных задачах.
Непонятные слова (квантование, токен, контекст, RAG…) — со сносками-объяснениями в 📖 «Словаре простыми словами» внизу страницы.
🔒 Зачем вообще локально, а не облако (приватность и соответствие)подробнее ▾
🔒 Данные не покидают периметр
Запросы и документы не уходят в облако: ничего не логируется на чужих серверах, нет утечки через провайдера ИИ. Для персональных данных, коммерческой и служебной тайны это принципиально.
🛡️ Соответствие (152-ФЗ, КИИ, гостайна)
Локальную модель ставят в защищённый сегмент/контур, в т.ч. на аттестованный объект и в air-gap, за СЗИ. Облачный ИИ туда нельзя — а свой можно.
✈️ Офлайн и автономность
Работает без интернета: в поле, на объекте ПНР, в изолированной сети. Пропала связь с облаком — твой ИИ-инженер остаётся при тебе.
💰 Фиксированная стоимость
За железо платишь один раз — дальше только электричество, без оплаты за токены и лимитов запросов. Для постоянной нагрузки и агентов выгоднее облака.
🧪 Полный контроль
Своя модель, свой квант, свои данные для дообучения, свои правила. Поведение не сменят и доступ не «выключат» под тобой.
Для специалиста по ИБ это главный аргумент: ИИ за периметром, в защищённом сегменте или air-gap, без утечки данных — там, где облако недопустимо.
Быстрый старт — сценарий лаборатории
Готовые сборки по уровням — от дома до предприятия
Ориентир: под какой масштаб какое железо. Цены приблизительные (₽, июль 2026) — не оффер, а порядок; точный подбор под конкретную модель — в калькуляторе ниже.
🏠 Дом / старт≈ 80–160 тыс ₽
Железо: Mac mini M4 (24 ГБ) или ПК + RTX 4060 Ti 16 ГБ
Модели: 8–14B (Qwen3 8B/14B, Llama 3.1 8B)
Под задачу: личный ассистент, черновики, автоматизация мелких задач
тихо, мало ест; 14B в Q4 идёт комфортно
💼 СМБ / Про≈ 300–550 тыс ₽
Железо: Mac Studio M4 Max 64–128 ГБ или ПК + RTX 4090 24 ГБ
Модели: 32B уверенно; 70B на 128 ГБ Mac
Под задачу: рабочий ИИ отдела, RAG по документам, кодинг-помощник
128 ГБ Mac тянет 70B в Q4; 4090 — быстрый 32B
🏢 Отдел / многопольз.≈ 0.7–1.3 млн ₽
Железо: 2× RTX 4090 (48 ГБ) / RTX 6000 Ada 48 ГБ / Mac Studio Ultra 256 ГБ
Модели: 70B комфортно, 100B+ (MoE), несколько параллельных сессий
Под задачу: локальный ИИ на команду/отдел, агенты процессов
48+ ГБ VRAM = 70B без выгрузки; Ultra 256 ГБ = 235B в Q3
🔌 Сможет ли она, как Claude, ходить по SSH и писать код — если интернет пропадёт?
Да — но не «сама по себе». Модель это МОЗГ: она генерит команды и код. Чтобы реально зайти по SSH, поправить файл или выполнить скрипт, её оборачивают агентом (Cline, Aider, OpenHands, Continue) — он даёт модели инструменты (терминал, SSH, редактор, браузер) и исполняет её шаги. Связка «локальная 70B + агент» работает офлайн как личный Claude Code: пропал интернет — твой ИИ-инженер остаётся при тебе. Но честно: локальная модель менее предсказуема, чем фронтир-облако, поэтому для важного — dry-run, подтверждения, человек в контуре.
🎓 Чему можно дообучить
Можно дообучить под себя (свой стиль, домен, формат ответов) методом LoRA/QLoRA — на одной видеокарте за часы, не трогая всю модель. Но чаще НЕ нужно: для «знать твои документы» достаточно RAG (поиск по файлам) — быстрее, дешевле и без риска «сломать» модель.
⚠️ Ограничения — о чём помнить
Слабее топовых облачных (GPT-5/Claude) — особенно на самых сложных и длинных задачах.
Знания — на момент обучения (cutoff); свежее даёшь через RAG/поиск/инструменты.
Может уверенно ошибаться («галлюцинации») — проверяй факты и команды перед запуском.
Ограничена контекстом: гигабайты сразу «прочитать» нельзя — нужен RAG.
Чем сильнее сжатие (низкий квант) — тем заметнее просадка качества.
📥 Где взять (подробно)
Проще всего — Ollama (`ollama run …` в терминале) или LM Studio (с окошком). Они сами скачают нужный квант. Исходные веса и лицензии — на Hugging Face. Для агента подключают Cline/Continue (в VS Code) к локальному Ollama.
🚀 С чего начать практически: от установки до агенташаги ▾
1. Поставь движок
Ollama — запуск моделей одной командой (Win/Mac/Linux). Сам качает кванты, поднимает локальный API на localhost:11434.
curl -fsSL https://ollama.com/install.sh | sh
На Mac/Windows проще скачать установщик с ollama.com. С окошком вместо терминала — LM Studio.
2. Запусти модель
Скачает нужный квант и откроет чат прямо в терминале.
ollama run qwen3:8b
Первый запуск качает веса (несколько ГБ), дальше — мгновенно. Команда — в карточке выбранной модели выше.
3. Добавь удобный чат
Open WebUI — веб-интерфейс как у ChatGPT поверх Ollama: история, системные промпты, загрузка файлов, несколько моделей.
В Open WebUI загрузи PDF/инструкции/нормативку — он сам построит эмбеддинги и будет отвечать со ссылками на твои файлы.
Так «скармливают» гигабайты, которые не влезают в контекст. Дообучать для этого НЕ нужно.
5. Дай руки — агент
Cline или Continue в VS Code подключают к локальному Ollama: модель правит файлы, гоняет команды, ходит по SSH — офлайн-аналог Claude Code.
Для серьёзного — 32–70B; обязательно dry-run, подтверждения и человек в контуре.
📦 Что скачивать: форматы весов и под какой движок
ФорматДвижокКогда
GGUFOllama · llama.cpp · LM StudioСамый ходовой для дома: CPU+GPU, любой квант (Q4_K_M…). С него начинают почти все.
MLXMLX · LM Studio (Mac)Родной для Apple Silicon — выжимает максимум из единой памяти Mac.
GPTQ / AWQvLLM · TGI · ExLlamaДля NVIDIA-серверов и многих пользователей: быстрый параллельный инференс на GPU с батчингом.
EXL2ExLlamaV2 · TabbyAPIОчень быстрый GPU-инференс с гибким битрейтом кванта; для одной-двух карт.
FP16 / BF16Transformers · vLLMПолная точность без сжатия — под дообучение и эталонное качество; требует много памяти.
Не уверен — бери GGUF через Ollama (на Mac — MLX). Серверу под многих пользователей — GPTQ/AWQ в vLLM.
Нужно памяти≈ 6.3 ГБ
Веса 4 ГБ (Q4) + KV-кэш 1 ГБ (8K × 1 запрос) + 1.3 ГБ рантайм. Всё это должно влезть в быструю память (VRAM или единая память Mac/APU); иначе часть весов уходит в системную RAM — модель запустится, но замедлится в разы.
На диске под веса ≈ 4 ГБ (скачать и хранить модель).
✓ Оптимально по цене: Mac mini M4, 16 ГБ — влезает в VRAM, ≈ 24 ток/с, ≈ 60 000 ₽ + ~58 ₽/мес электричества (≈8 ч/день).
⏱️ до 1-го слова ≈ 16 с🔋 0.6 ток/с на Вт💵 2 500 ₽ за ток/с
Подходит вариантов (хотя бы с выгрузкой): 49 из 49.
🔻 Не влезает? Как уместить модель в меньшую памятьподробнее ▾
Память съедают в первую очередь веса (а не KV-кэш). Рычаги — по силе эффекта:
🔻 Снизить квантование — главный рычаг
Основной объём — это ВЕСА. Сжать их сильнее: Q4 → Q3 → Q2. Память падает почти пропорционально, качество — плавно. Для Qwen3-235B: Q4 ≈ 117 ГБ, Q3 ≈ 99 ГБ, Q2 ≈ 70 ГБ — так гигант влезает в 128 ГБ Mac. Переключай квант вверху — «нужно памяти» сразу пересчитается.
📉 Взять модель поменьше
Часто практичнее, чем ужимать гиганта в Q2: 235B → 70B → 32B уменьшает память кардинально, а 70B в Q4 обычно умнее, чем 235B в Q2. Гонитесь не за числом параметров, а за тем, что влезает И качественно отвечает.
✂️ Короче контекст / меньше параллельных запросов
Уменьшает KV-кэш — то, что ты и заметил. Но у больших моделей KV — малая доля (у 235B на 32K это ~11 ГБ из 130). Помогает выгадать последние гигабайты, а не кардинально.
💾 Выгрузка в RAM — только НЕ на Mac
На ПК с видеокартой часть слоёв уходит в системную RAM (запустится, но в разы медленнее). На Mac память ЕДИНАЯ — выгружать некуда, кроме медленного свопа на SSD. Поэтому на Mac правило простое: не влезло — снизь квант или возьми модель меньше.
🧩 MoE не помогает ВЛЕЗТЬ (только ускоряет)
У MoE (как Qwen3-235B-A22B) в памяти лежат ВСЕ 235B параметров, а быстрой её делает то, что на токен считается лишь часть. По памяти MoE не легче обычной модели того же размера.
Коротко: не влезло — сначала пробуй квант ниже (Q3/Q2 в выборе «Квантование»), потом модель меньше. Контекст и параллельность срезают лишь KV-кэш.
⏱️ Сколько ждать ответана Mac mini M4, 16 ГБ · ≈ 24 ток/с
Ответ = префилл (прочитать твой запрос) + декод (сгенерировать ответ). Декод упирается в ПС памяти, префилл идёт в разы быстрее — поэтому большой ВВОД дешевле, чем столько же сгенерированных токенов.
Задачапрефиллдекодвсего
Короткий вопрос300→200 ток · факт, команда, короткий ответ3 с8 с11 с
Письмо / объяснение500→700 ток · развёрнутый текст5 с29 с34 с
Рассуждение (R1/o1-стиль)800→3 500 ток · много «мыслей» → длинный вывод8 с2 мин 26 с2 мин 34 с
Конфиг / Ansible по топологии4 000→1 500 ток · большой ввод + генерация42 с1 мин 3 с1 мин 44 с
Анализ документа 32K32 000→800 ток · почти весь расход — на префилл5 мин 33 с33 с6 мин 7 с
Меняй железо/квантование/контекст выше — времена пересчитаются. Без «потоковой» выдачи это пауза до первого слова; со стримингом первые слова появятся через ~префилл, а дальше потекут со скоростью декода.
🧪 Практические сценарии — сколько реально ждатьна Mac mini M4, 16 ГБ
Главное: время модели ≠ время задачи. Сжатие картинок, расшифровку, запись файлов делают ИНСТРУМЕНТЫ (не зависят от GPU), а гигабайты документов не грузят в чат — их индексируют один раз (RAG). Цифры на выбранном железе:
📄 Word 800 МБ → сжать картинки → в Obsidian≈ 33 мин 45 с
модель: префилл 13 мин 53 с + декод 17 мин 22 с· 🔧 инструменты ≈ 2 мин 30 с
Модель не «читает» 800 МБ: она работает с ИЗВЛЕЧЁННЫМ текстом (~80K токенов), а сжатие картинок и запись заметок делают ИНСТРУМЕНТЫ (imagemagick/скрипт), не LLM. Поэтому время = немного модели + работа инструментов и диска. Картинки и файлы — это секунды-минуты ВНЕ модели.
📚 Гигабайт инструкций СЗИ → изучить и отвечать≈ 2 мин 55 с / ответ
модель: префилл 2 мин 5 с + декод 50 с· 📇 разовая индексация ≈ 23 ч 9 мин
Гигабайт НЕ влезает в контекст (потолок ~128K токенов ≈ 0.5 МБ текста). Поэтому документы ИНДЕКСИРУЮТ ОДИН РАЗ (эмбеддинги — это часы на локальном железе для 1 ГБ), а на каждый вопрос модель читает только НАЙДЕННЫЕ куски (~12K токенов) и отвечает за секунды. «Изучение» = разовая индексация; «ответы» — быстрые. Это RAG, не «загрузить всё в чат».
📑 Разобрать отчёт/ТЗ на 50 страниц≈ 6 мин 36 с
модель: префилл 5 мин 33 с + декод 1 мин 3 с
50 страниц ≈ 32K токенов — влезает в контекст целиком. Почти всё время уходит на ПРЕФИЛЛ (прочитать), ответ короткий. Хорошая память и быстрый префилл (M5/NVIDIA) тут решают больше, чем скорость декода.
🎙️ Совещание 1 час → расшифровка и саммари≈ 8 мин 39 с
модель: префилл 2 мин 36 с + декод 1 мин 3 с· 🔧 инструменты ≈ 5 мин
Сначала аудио → текст делает ОТДЕЛЬНАЯ модель (Whisper) — это ~5 мин на час записи на локальном GPU (инструмент, не наша LLM). Потом LLM суммирует расшифровку (~15K токенов) за десятки секунд. Две разные модели в конвейере.
🧾 Пакет: 100 счетов → таблица полей≈ 38 с / ответ
модель: префилл 21 с + декод 17 с
На ОДИН документ — пара секунд. Но это ПОТОК: 100 штук × (префилл+декод). Тут выигрывает параллельность (несколько потоков) и пропускная способность, а не «ум» модели. Время ниже — за один документ; умножь на количество.
Цифры ориентировочные и зависят от железа выше. «/ ответ» — время на ОДИН вопрос/документ (умножай на количество). Индексация для RAG — разовая (потом ответы быстрые).
Сохрани или отправь этот подбор: Qwen3 8B Q4 · контекст 8K · 1 запрос.
Десктоп + видеокарта NVIDIA/AMD
✓ в VRAMRTX 3090 24 ГБб/у · Авито
та же VRAM, что у 4090, за полцены (б/у, риск износа после майнинга)
Цены помечены ≈ — ориентир по рынку РФ. ОЗУ и GPU подорожали в 2025–2026 из-за ИИ-бума (×2–3 к 2024). Уточняй актуальную цену перед покупкой.
Сервер / много GPU
✓ в VRAM2× RTX 3090 (48 ГБ)б/у · Авито
бюджетный путь к 70B
🔧 Полная сборка ПК — комплектующие и итог ▾
ПК — это не только проц и ОЗУ. Вот что нужно докупить, чтобы собрать этот конфиг:
Мат. платаX570 / B650 с 2× PCIe x8 (раздвоение линий) — важно: оба слота должны работать x8, а не x16+x118 000 ₽
ПроцессорAMD Ryzen 7 7700 (8 ядер)22 000 ₽
ОЗУ64 ГБ DDR5 (2× 32 ГБ)18 000 ₽
Видеокарты2× RTX 3090 24 ГБ (б/у)130 000 ₽
Блок питания1200 Вт 80+ Gold14 000 ₽
Корпус + райзерКорпус с продувом или open-frame + PCIe-райзер10 000 ₽
НакопительSSD 1 ТБ NVMe6 000 ₽
Итого сборка≈ 218 000 ₽
⚠️ Две карты по ~350 Вт → БП ≥1200 Вт и хороший продув. Нужна плата с двумя слотами PCIe x8/x8. Модель разбивается по картам (tensor-parallel) — линк между ними (PCIe/NVLink) влияет на скорость.
Корпус + охлаждениеATX-корпус с продувом + кулер9 000 ₽
НакопительSSD 1 ТБ NVMe6 000 ₽
Итого сборка≈ 333 000 ₽
⚠️ Это ОДНА видеокарта — её надо во что-то поставить. Карта перепаяна (2-слотовая турбина), без гарантии и с риском прошивок/драйверов. 48 ГБ в одном слоте — удобно: модель не дробится по картам.
⚠️ 4 карты по ~350 Вт ≈ 1.4 кВт ТОЛЬКО на GPU → БП 2000 Вт (или два БП) и ОТДЕЛЬНАЯ силовая линия с автоматом (см. /kabel). Нужна платформа с большим числом линий PCIe (HEDT/сервер), часто карты идут на x8/x4 через райзеры. Без open-frame и хорошего обдува — перегрев.
Цены помечены ≈ — ориентир по рынку РФ. ОЗУ и GPU подорожали в 2025–2026 из-за ИИ-бума (×2–3 к 2024). Уточняй актуальную цену перед покупкой.
Бюджет: китайские платформы и риги
✓ в VRAM2× Xeon E5 + 256 ГБ DDR4 ECC (Китай)Китай
море памяти за копейки, но МЕДЛЕННО (узкая ПС DDR4)
🔧 Полная сборка ПК — комплектующие и итог ▾
ПК — это не только проц и ОЗУ. Вот что нужно докупить, чтобы собрать этот конфиг:
Мат. платаHuananzhi X99-F8D Plus (2×LGA2011-3, 8×DDR4, до 256–512 ГБ REG ECC) — ключевое: 8 слотов и поддержка REG ECC — именно она «вытягивает» 256 ГБ18 000 ₽
ОЗУ8× 32 ГБ DDR4-2400 REG ECC (256 ГБ) — только серверная регистровая память; 8 модулей — по числу слотов платы32 000 ₽
Охлаждение2× башенный кулер под LGA2011-35 000 ₽
Блок питания750 Вт 80+ Bronze7 000 ₽
НакопительSSD 1 ТБ NVMe (под ОС и веса)6 000 ₽
КорпусFull-Tower под E-ATX с продувом6 000 ₽
Итого сборка≈ 80 000 ₽
⚠️ Память — РЕГИСТРОВАЯ ECC (REG), обычная не заведётся. Плата держит 8 модулей по 32 ГБ. Это «объём ради объёма»: ПС DDR4 ~75 ГБ/с → крупные модели влезут, но медленно.
⚠️ P40 — серверные карты БЕЗ своих вентиляторов: обязательны кожухи-турбины, иначе перегрев. 4×250 Вт ≈ 1 кВт только на карты → мощный БП и отдельная линия (см. /kabel). Старое поколение (Pascal) — медленнее современных и без новых фич.
Мат. платаSupermicro H13SSL-N (Socket SP5, 12 слотов DDR5 RDIMM, до 6 ТБ) — именно SP5 + 12 каналов «вытягивают» 384 ГБ на 460 ГБ/с95 000 ₽
ОЗУ12× 32 ГБ DDR5-4800 RDIMM (384 ГБ, все 12 каналов) — 12 модулей обязательно — по одному на канал110 000 ₽
ОхлаждениеКулер под SP5 (4U/башня)12 000 ₽
Блок питания1000 Вт 80+ Platinum14 000 ₽
Корпус4U-стойка или Full-Tower под EEB12 000 ₽
Накопитель2 ТБ NVMe12 000 ₽
Итого сборка≈ 535 000 ₽
⚠️ Секрет скорости — 12 КАНАЛОВ памяти: нужно заполнить ВСЕ 12 слотов (12 модулей), иначе ПС падает в разы. Память — RDIMM (регистровая серверная), не обычная. Плата SP5 сама по себе дорогая. Это «много относительно быстрой памяти» под огромные MoE без видеокарт.
Цены помечены ≈ — ориентир по рынку РФ. ОЗУ и GPU подорожали в 2025–2026 из-за ИИ-бума (×2–3 к 2024). Уточняй актуальную цену перед покупкой.
✓ в VRAM3× MacBook/ноут по USB4 (пул ~192 ГБ)кластер
USB4/Thunderbolt ≈ 40 Гбит/с ≈ 5 ГБ/с между узлами ≪ память (≈500 ГБ/с) → память складывается «чтобы влезло», но инференс медленный; для домашней лаборатории из разнородных ноутов
Цены помечены ≈ — ориентир по рынку РФ. ОЗУ и GPU подорожали в 2025–2026 из-за ИИ-бума (×2–3 к 2024). Уточняй актуальную цену перед покупкой.
Облако (аренда)
✓ в VRAMАренда GPU в облаке
влезет что угодно, платишь по часам — для бурста/проб
облако · ПС оч. высокая≈ 400 ток/спо часам
Цены помечены ≈ — ориентир по рынку РФ. ОЗУ и GPU подорожали в 2025–2026 из-за ИИ-бума (×2–3 к 2024). Уточняй актуальную цену перед покупкой.
Сравнить варианты и стоимость владения (TCO)
Три типажа выбора под Qwen3 8B Q4: самый выгодный по цене за скорость, самый бюджетный на вход и самый быстрый. TCO = цена железа + электричество за горизонт владения — ценник это не вся правда: прожорливое железо за годы «доедает» разницу.
TCO = железо + электричество (без охлаждения/обслуживания) при 8 ч/день и 6 ₽/кВт·ч. Меняй модель/квант/контекст выше — трио и расчёт пересоберутся. ✓ — минимальный TCO в тройке.
🍎 Apple Silicon: как выбрать конфигурацию (тир, ядра, ПС, память)подробнее ▾
У одного поколения (M4, M5…) есть ступени — базовый → Pro → Max → Ultra. С каждой растут ядра GPU, пропускная способность памяти (ПС) и потолок единой памяти. Для LLM это решает: ПС задаёт скорость генерации (ток/с), ядра GPU — скорость префилла (обработки промпта), объём памяти — какая модель вообще влезет.
ProM4 Pro / M5 Pro16–20273–300до 64 ГБ32B уверенно; тихая рабочая станция
MaxM4 Max / M5 Max32–40410–620до 128 ГБ32B быстро / 70B портативно. ⚠ урезанный (binned) Max — меньше ядер GPU и ПС ниже
UltraM1 / M2 / M3 Ultra48–80800–819до 512 ГБ70B–235B; максимум объёма и ПС, но только десктоп Mac Studio (в ноут не ставят)
⚠️ Урезанный (binned) чип ≠ полный. Один и тот же «Max» бывает 14 CPU / 32 GPU с ПС 410 ГБ/с ИЛИ полный 16 CPU / 40 GPU с ПС 546 ГБ/с — это ~25% разницы в скорости при одинаковом названии. Смотри на ЯДРА и ПС в конфигурации (в списке помечено «урезанный»).
🧠 ПС важнее ядер для генерации. Скорость ответа (ток/с) почти линейна по ПС памяти. Ядра GPU добавляют скорости префиллу (длинный промпт/контекст), но не «разгоняют» декод сверх ПС.
🧱 Память впаяна — апгрейда нет. Сколько единой памяти купил, столько и будет. Бери «на вырост»: 64 ГБ → 32B, 128 ГБ → 70B (и 235B в Q3/Q2), 256–512 ГБ (только Ultra/Studio) → 235B без компромиссов.
⚙️ macOS по умолчанию отдаёт GPU не всю память. Лимит «wired» памяти под Metal — около 75% (на 128 ГБ ≈ 96 ГБ). Под крупную модель его поднимают: sudo sysctl iogpu.wired_limit_mb=120000 (оставь ~8–12 ГБ системе). В расчётах «влезает» мы уже учитываем поднятый лимит (~112 ГБ из 128).
💾 Накопитель не ускоряет ИИ, но хранит веса. Модель работает из памяти; SSD нужен, чтобы веса где-то лежали (70B в Q4 ≈ 40 ГБ). База 256–512 ГБ забивается парой моделей, а апгрейд SSD у Apple дорогой — планируй заранее.
💻 Ultra — только десктоп. Тир Ultra (макс. ПС и память) ставят лишь в Mac Studio; в ноутбуках потолок — Max. Нужна автономность 70B в рюкзаке → MacBook Pro Max; нужен максимум 235B → Studio Ultra.
♻️ Б/у Max — лучшая цена за скорость. У Max всех поколений (M1/M2/M3) ПС памяти ~400 ГБ/с. На вторичке Mac Studio/MacBook Pro M1–M2 Max дают 32B-машину (а 128 ГБ — и 70B) заметно дешевле новых. Ориентир скорости на Llama-70B Q4: ~6 ток/с (M2 Max) → ~11 (M3 Max) → ~18–28 (M4 Max) — чем новее и выше ПС, тем быстрее.
⚠️ Осторожно с M3 Pro. Apple срезала ему ПС памяти до ~150 ГБ/с (у M2 Pro было 200) — для LLM он хуже предшественника. Если берёшь «Pro», бери поколение M4 (273 ГБ/с) или сразу Max.
🖥️ iMac / iPad / Air — «пощупать», не рабочий узел. Базовый чип (ПС ~120) и впаянная память (макс 16–32 ГБ) ограничивают лёгкими моделями. iPad вдобавок гоняет LLM только в приложениях — без Ollama, терминала и агента/SSH.
📊 Вся линейка Apple M1–M5 — ядра, ПС, память, устройстваподробнее ▾
Сводка по всем чипам Apple Silicon от M1 до M5. ПС — пропускная способность единой памяти (главное для скорости LLM, ГБ/с), ядра GPU — за префилл, макс. память — какая модель влезет. Диапазон ядер = урезанные (binned) и полные конфигурации. Ultra — только Mac Studio (в ноутбуках потолок Max).
✓ зелёным — чипы, чьей памяти хватит на выбранную модель (Qwen3 8B Q4, ~6.3 ГБ) в старшей по памяти версии.
M1поколение
Чипядра CPUGPUПСпамятьпод LLMустройства
✓ M1 20208 (4P+4E)7–86816 ГБ🤖 лёгкие до 8BMacBook Air, MacBook Pro 13″, Mac mini, iMac 24″
✓ M1 Pro 20218–1014–1620032 ГБ🤖 до 14B; 32B впритыкMacBook Pro 14″/16″
✓ M1 Max 202110 (8P+2E)24–3240064 ГБ🤖 32B уверенно (64 ГБ)MacBook Pro 14″/16″, Mac Studio
✓ M1 Ultra 202220 (16P+4E)48–64800128 ГБ🤖 70B (128 ГБ)Mac Studioдва M1 Max через UltraFusion
M2поколение
Чипядра CPUGPUПСпамятьпод LLMустройства
✓ M2 20228 (4P+4E)8–1010024 ГБ🤖 лёгкие до 8BMacBook Air, MacBook Pro 13″, Mac mini, iPad Pro
✓ M2 Pro 202310–1216–1920032 ГБ🤖 до 14B; 32B впритыкMacBook Pro 14″/16″, Mac mini
✓ M2 Max 20231230–3840096 ГБ🤖 32B; 70B на 96 ГБ (медленно)MacBook Pro 14″/16″, Mac Studio
✓ M2 Ultra 20232460–76800192 ГБ🤖 70B–120B-MoE (192 ГБ)Mac Studio, Mac Pro
M3поколение
Чипядра CPUGPUПСпамятьпод LLMустройства
✓ M3 20238 (4P+4E)8–1010024 ГБ🤖 лёгкие до 8–14BMacBook Air, MacBook Pro 14″, iMac 24″
✓ M3 Pro 202311–1214–1815036 ГБ🤖 до 14B (⚠ ПС низкая)MacBook Pro 14″/16″⚠ ПС срезана до 150 (у M1/M2 Pro было 200)
✓ M3 Max 202314–1630–40400128 ГБ🤖 32B быстро; 70B (128 ГБ)MacBook Pro 14″/16″урезанный 14-ядерный — ПС 300; полный 16/40 — 400
✓ M3 Ultra 202528–3260–80819512 ГБ🤖 235B / почти всё (512 ГБ)Mac Studioвышел в 2025; Thunderbolt 5, до 512 ГБ
M4поколение
Чипядра CPUGPUПСпамятьпод LLMустройства
✓ M4 202410 (4P+6E)8–1012032 ГБ🤖 лёгкие до 8–14BMacBook Air, MacBook Pro 14″, Mac mini, iMac 24″, iPad Pro
✓ M4 Pro 202412–1416–2027364 ГБ🤖 32B уверенно (64 ГБ)MacBook Pro 14″/16″, Mac mini
✓ M4 Max 202414–1632–40546128 ГБ🤖 32B очень быстро; 70B (128 ГБ)MacBook Pro 14″/16″, Mac Studioурезанный 14/32 — ПС 410; полный 16/40 — 546
M5поколение
Чипядра CPUGPUПСпамятьпод LLMустройства
✓ M5 2025101015332 ГБ🤖 лёгкие до 8–14BMacBook Pro 14″, iPad Proновейший базовый; ПС 153 — выше M4
✓ M5 Pro 2025–26~14~2030064 ГБ🤖 32B (64 ГБ)MacBook Pro, Mac mini (ожид.)предв. данные
✓ M5 Max 2025–26~16~40620128 ГБ🤖 70B портативно (128 ГБ)MacBook Pro, Mac Studio (ожид.)предв. данные; ПС ~620 — быстрее M4 Max
ПС — пропускная способность памяти в ГБ/с. «🤖 под LLM» — практический потолок (модель Q4 + запас под контекст); скорость зависит от ПС и поколения. Данные — ориентир по спекам Apple; точные ядра/память зависят от конфигурации при заказе. M5 Pro/Max — предварительные.
⚙️ Техпроцесс: M1/M2 — 5 нм, M3/M4/M5 — 3 нм → новее = больше ток/с на ватт при той же ПС.
🧠 Почему в таблице нет Neural Engine (NPU) и его TOPS. Локальные движки (Ollama, llama.cpp, MLX) считают LLM на GPU через Metal, а не на Neural Engine — он для CoreML/камеры/Siri. Поэтому для выбора Mac под локальный ИИ смотри на ПС памяти и объём, а не на рекламные «TOPS NPU».
Распределённые вычисления: как связать ноды
Несколько машин можно объединить в один пул памяти и запустить модель, которая в одну не влезает. Память складывается, но межузловой линк в десятки–сотни раз медленнее памяти узла — поэтому кластер набирает объём («чтобы влезло»), а не скорость. Чем толще канал между нодами — тем лучше.
Топология соединения
Прямой кабель (2 ноды)
самый быстрый и простой: Thunderbolt/USB4 между двумя машинами без свитча. Идеал для «объединить 2 макбука».
Звезда через хаб/свитч
3+ нод в один коммутатор (10/25 GbE) — «голова» (мощный Mac/сервер) в центре, остальные лучами.
Кольцо (Thunderbolt-mesh)
каждый Mac соединён с двумя соседями по TB — MLX гоняет данные по кругу; держит 3–4 Mac без свитча.
Чем соединять (интерконнект → скорость линка)
Thunderbolt 5 (Mac M4)лучший «домашний» линк: прямой кабель между двумя Mac, ~80 Гбит/с ≈ 10 ГБ/с80 Гбит/с ≈ 10 ГБ/с
10 GbEмассовый «быстрый» Ethernet; мини-ПК часто уже с портом10 Гбит/с ≈ 1.3 ГБ/с
1 GbE (обычная сеть)слишком медленно для тензорного параллелизма — только пайплайн/пакетно1 Гбит/с ≈ 0.1 ГБ/с
Софт-стек (что ставить)
EXO
автоматически делит модель по устройствам в локальной сети; нашёл соседей — раздал слои
Лучше всего: разнородные Mac/ПК/ноуты «из того, что есть»
MLX distributed (Apple)
родной для Apple Silicon; MPI/кольцо по Thunderbolt между Mac — максимум из единой памяти
Лучше всего: 2–4 Mac по Thunderbolt 5
llama.cpp RPC
rpc-server на каждой ноде, головной процесс собирает; кросс-платформенно (Mac+ПК+ARM)
Лучше всего: смешанный парк, простой запуск
vLLM (tensor/pipeline parallel)
промышленный сервинг на нескольких GPU; нужна толстая шина (NVLink/25–100 GbE)
Лучше всего: ферма NVIDIA, много пользователей
Пример: объединить два MacBook под одну большую модель
Соедини их кабелем Thunderbolt 4/5 напрямую (порт-в-порт) — это даёт ~40–80 Гбит/с, в разы быстрее Wi-Fi/1GbE.
Подними сеть поверх Thunderbolt (Thunderbolt Bridge в Системных настройках → общий IP-сегмент).
Поставь стек: проще всего EXO или llama.cpp RPC; для максимума на Apple — MLX distributed (кольцо/MPI).
Память складывается: 2× по 64 ГБ ≈ пул ~128 ГБ → влезает 70B/120B-MoE, которая в один Mac не помещалась.
Помни: скорость декода ограничит МЕЖузловой линк, а не память. Это путь «чтобы ВЛЕЗЛО», не «чтобы быстро».
Apple Silicon особенно удобен для этого: единая память + Thunderbolt 5 (на M4) ≈ 80 Гбит/с и родной MLX distributed. M4→Pro→Max→Ultra — растёт и объём, и ПС памяти; Ultra — это два Max через UltraFusion.
Что ещё учесть при сборке лаборатории
«Влезло и быстро» — не всё. Эти метрики отличают удобную рабочую лабораторию от железки, которая воет и жрёт электричество:
⏱️ TTFT — задержка до первого слова
Не только ток/с: для чата и кодинга важно, как быстро пойдёт ПЕРВЫЙ токен (это префилл промпта). Большой контекст и слабый префилл → ассистент «думает» секунды перед ответом.
🔋 Энергоэффективность (ток/с на ватт)
Mac/APU дают много скорости на ватт и почти не шумят; риги на старых картах — наоборот. Для always-on узла считай не пик, а потребление в простое и за месяц.
💵 Цена за ток/с
Дели цену на скорость: иногда «дешёвая» карта в пересчёте на ток/с дороже Mac. А ещё считай ПОЛНУЮ стоимость владения: железо + диск под веса + электричество + охлаждение.
🔊 Шум, тепло и место
Многокарточный риг — это шум, киловатты тепла и отдельная розетка/автомат. Дома и в офисе это критично: тихий Mac mini/Strix Halo часто практичнее мощного, но воющего рига.
🧩 Апгрейдопригодность
У Mac/APU память впаяна — сколько купил, столько и будет. У десктопа можно добавить вторую видеокарту или ОЗУ. Берёшь «на вырост» — смотри, есть ли куда расти.
🧰 Экосистема рантайма
NVIDIA (CUDA) — поддержка всего и сразу; Apple (MLX/Metal) — отлично, но не каждый проект; AMD (ROCm/Vulkan) — дешевле, но проверяй, что твой инструмент заводится. Софт решает не меньше железа.
🛡️ Надёжность данных и весов
Лаборатория = ценные данные (база RAG, заметки, логи). Диск под это — с запасом и БЭКАПОМ (а лучше RAID/зеркало). Веса моделей — десятки–сотни ГБ: место под скачку и хранение тоже планируй.
🌐 Доступ и изоляция
Доступ к домашней лаборатории извне — через VPN/Tailscale, без проброса портов. Держи ИИ-узел в отдельном сетевом сегменте: модель с доступом к файлам и сети — это и польза, и риск.
Принцип (это и есть главное)
📦 Память — чтобы ВЛЕЗЛО. Веса + KV-кэш + рантайм должны поместиться в быструю память. Не влезает — режь квантованием (Q4), бери MoE или железо с бóльшим объёмом.
⚡ ПС памяти — чтобы было БЫСТРО. Скорость (ток/с) ≈ ПС памяти ÷ ГБ, читаемые на токен, а не «терафлопсы». Для видеокарты это ПС VRAM, для Mac/APU — единой памяти, для CPU — шины CPU↔ОЗУ. RTX 4090 (~1000 ГБ/с) и Mac Ultra (~800 ГБ/с) быстрые; обычная DDR5 (~90 ГБ/с) — медленная. В таблице ПС подписана у каждого варианта.
⏱️ Ток/с ≠ время ответа. ток/с — это темп генерации; реальное ожидание = префилл (прочитать запрос) + декод (выдать ответ). Большой ВВОД (документ 32K) почти весь уходит в быстрый префилл, а «думающие» модели (R1/o1-стиль) долгие из-за большого ВЫВОДА. Поэтому смотри не только ток/с, но и блок «сколько ждать ответа».
🧩 MoE меняет правила. У MoE (Qwen3 235B-A22B, DeepSeek 671B, gpt-oss) в памяти лежат ВСЕ параметры, но на токен читаются только активные. Поэтому 235B по скорости как ~22B — если хватило памяти, чтобы её вместить.
💾 Выгрузка в RAM — спасение и тормоз. Если модель не влезла в VRAM, часть слоёв уходит в системную RAM. Запустится, но та часть читается на скорости DDR (~80 ГБ/с) → ток/с падает в разы. Лучше уместить всё в быструю память.
👥 Лаборатория = параллельность. Каждый одновременный запрос (агент/пользователь) держит свой KV-кэш. 8 запросов на 32K контекста — это ×8 памяти под KV. Планируйте VRAM под пик нагрузки.
🍎 Единая память (Mac, Strix Halo, DGX Spark). CPU и GPU делят один быстрый пул → вмещаются модели, недоступные одной видеокарте по объёму. Mac быстрее по ПС, x86-APU (Strix Halo) дешевле при той же ёмкости.
♻️ Б/у и Китай — дешевле, но с риском. RTX 3090 24 ГБ б/у = VRAM как у 4090 за полцены. Китайские 48 ГБ-моды 4090 и риги на P40 дают объём дёшево, но это кастом/старьё — гарантия, износ, шум, питание. У новых карт в таблице сразу подписана и цена на вторичке — сравнивай.
🎒 Игровой ноут с дискреткой — портативный GPU. RTX 4080/4090 Laptop (12–16 ГБ) дешевле и привычнее Mac, тянут 14–24B прямо в VRAM и быстры на малых моделях. Но 8 ГБ-ноуты упираются в память (а не в чип), под нагрузкой ноут греется и троттлит. Mac берёт ОБЪЁМОМ единой памяти (70B+), ноут — СКОРОСТЬЮ VRAM на моделях поменьше. В поле без интернета — обе опции рабочие.
🖥️ CPU тоже вариант — для больших MoE. Многоканальный EPYC (12 каналов DDR5 ≈ 460 ГБ/с) тянет даже 671B MoE: активных параметров мало, а памяти под все веса — много и относительно быстрой.
🕸️ Кластер суммирует память, но упирается в сеть. Объединив устройства (в т.ч. ноутбуки по USB4/Thunderbolt ≈ 5 ГБ/с), наберёшь объём под огромную модель, но межузловая связь в десятки–сотни раз медленнее памяти узла → быстрый чат не выйдет, годится «чтобы влезло» и для пакетных задач. Это та же распределёнка из видения платформы.
💡 Считай стоимость владения, а не только ценник. К цене железа добавь место на диске под веса и электричество: расчёт ниже берёт ≈8 ч/день работы по 6 ₽/кВт·ч. Карта на 350 Вт под нагрузкой за год набегает заметную сумму — иногда экономнее взять решение помедленнее, но тише и холоднее.
🛠️ Автономия и агент: модель — мозг, инструменты — руки. Для офлайн-инженера на объекте локальная LLM рассуждает и генерит конфиги/Ansible, а исполняют Ansible/SSH/netmiko/nmap — их вызывает агент-обвязка. Чем сложнее объект (300+ устройств), тем важнее: длинный контекст (конфиги/топология), модель покрепче (32–70B → Mac 64–128 ГБ), dry-run и идемпотентность, человек в контуре. Портативно — MacBook Pro в рюкзак; дома — лаборатория из разнородного железа, доступ извне через VPN/Tailscale. Так останешься с доступом к ИИ при любых ограничениях.
Числа ориентировочные (порядок и узкое место, не точный бенчмарк). Реальная скорость зависит от рантайма (llama.cpp, Ollama, vLLM, MLX), версии и настроек.
🎓 Дообучение под себя — сколько нужно железаподробнее ▾
Дообучение адаптирует готовую модель под твой стиль, домен и формат ответов. Важно: ТРЕНИРОВКА требует памяти БОЛЬШЕ, чем инференс той же модели.
LoRA / QLoRA — рабочий путь дома
Учат не всю модель, а маленькую «добавку» (адаптер). QLoRA по 4-битной базе: 7–8B дообучают на одной карте 24 ГБ за часы. Инструменты: Unsloth (быстро), Axolotl, LLaMA-Factory.
Полный fine-tune — редко
Перетренировать ВСЕ веса — это десятки-сотни ГБ VRAM и сервер на A100/H100. Дома почти не делают; нужен для глубокой смены поведения.
Чаще нужен RAG, а не обучение
Чтобы модель «знала твои документы», дообучать обычно НЕ надо — хватает RAG (поиск по файлам). Быстрее, дешевле и без риска ухудшить модель.
📐 Правило большого пальца: под QLoRA 7–8B — видеокарта ≥24 ГБ; под QLoRA 70B — пул ≥80 ГБ (2× 3090/4090 или A100). Для инференса той же модели памяти нужно заметно меньше, чем для обучения.
Словарь: простыми словами
Встретил незнакомое слово выше — найди его здесь. Коротко — суть; разверни — подробное объяснение с аналогией.
Локальная модель (LLM)ИИ, который работает на твоём железе, без интернета
Большая языковая модель — это «мозг» вроде ChatGPT, только её файл (веса) скачивается и крутится на ТВОЁМ компьютере. Никуда не отправляет данные, работает офлайн. Минус — она слабее топовых облачных и требует памяти.
Параметры — это связи внутри модели, выученные при обучении. Больше параметров (70B > 8B) — обычно умнее, но нужно больше памяти и медленнее. B = billion (миллиард).
Токенкусочек текста (~¾ слова)
Модель читает и пишет не буквами, а токенами — кусочками слов. Грубо: 1000 токенов ≈ 750 слов ≈ 1 страница. Скорость измеряют в токенах в секунду (ток/с).
Контекстсколько текста модель держит «в голове» за раз
Окно контекста — максимум токенов, которые модель видит одновременно (запрос + её ответ + история). 128K токенов ≈ ~250 страниц. Больше контекст — больше памяти под KV-кэш.
Квантование (Q4, Q8…)сжатие модели, чтобы влезла в память
Веса хранят числами. Квантование огрубляет их (16 бит → 4 бита, Q4) — файл и память уменьшаются в ~4 раза, а качество падает чуть-чуть. Q4 — рабочий минимум, Q8 — почти без потерь, FP16 — полная точность. Аналогия: как сжать фото в JPEG — легче, почти не видно разницы.
Низкие кванты (Q3, Q2)ещё сильнее сжать, чтобы влезла большая модель
Когда модель не помещается даже в Q4, её ужимают сильнее: Q3 (~3 бита) и Q2 (~2.6 бита). Память падает ещё в 1.2–1.7 раза (235B: Q4 ≈117 ГБ → Q2 ≈70 ГБ), но качество заметно проседает, особенно у малых моделей. Это компромисс «лишь бы запустить большую модель на скромном железе». Часто разумнее взять модель поменьше в Q4.
VRAM / единая памятьбыстрая память, куда грузится модель
VRAM — память видеокарты; у Mac/APU — «единая» память для CPU и GPU. Модель должна целиком поместиться в эту быструю память, иначе сильно тормозит. Это и есть главное ограничение «влезет или нет».
Пропускная способность памяти (ПС)как быстро память отдаёт данные → скорость ответа
ГБ/с. Скорость генерации (ток/с) почти линейно зависит от ПС памяти, а НЕ от «терафлопсов». Поэтому быстрая память (видеокарта, Mac) важнее, чем мощный, но «голодный» по памяти процессор.
MoE (Mixture of Experts)большая модель, но на токен работает лишь часть
В памяти лежат ВСЕ параметры (напр. 235B), но на каждый токен «включается» только малая часть — эксперты (напр. 22B). Итог: умная как большая, быстрая как маленькая — если хватило памяти всю её вместить.
KV-кэшпамять под «историю диалога»
Чтобы не пересчитывать весь контекст на каждый токен, модель кэширует промежуточные данные. Чем длиннее контекст и чем больше одновременных запросов — тем больше KV-кэша, и тем больше нужно памяти.
Инференсзапуск готовой модели (получение ответов)
Inference — это «использование» обученной модели: ты спросил — она ответила. Противоположность — обучение (training), когда модель только создают/настраивают.
Префилл и декодпрочитать запрос (быстро) + написать ответ (медленнее)
Префилл — модель «читает» твой запрос (идёт быстро, параллельно). Декод — генерирует ответ по одному токену (медленнее, упирается в ПС памяти). Поэтому большой ВВОД дешевле, чем такой же по объёму ОТВЕТ.
Агент / агентная обвязкамодель + «руки»: терминал, файлы, SSH, интернет
Сама модель только генерирует текст. Чтобы она РЕАЛЬНО что-то делала (запускала команды, правила файлы, ходила по SSH), её оборачивают агентом — программой, которая даёт модели инструменты и выполняет её решения. Claude Code — пример такой обвязки.
Дообучение (fine-tune, LoRA)донастроить модель на своих данных
Можно адаптировать готовую модель под свой стиль/документы/задачу. LoRA/QLoRA — лёгкий способ: учат не всю модель, а маленькую «добавку», на одной видеокарте за часы. Часто проще обойтись RAG (поиском по документам) без дообучения.
RAG (поиск по документам)ответы по твоим файлам без дообучения
Retrieval-Augmented Generation: документы заранее индексируют, а на вопрос модель получает только НАЙДЕННЫЕ куски и отвечает по ним со ссылками. Так «скармливают» гигабайты, которые не влезают в контекст. Не требует переобучения модели.
Эмбеддингипревращение текста в числа для поиска
Отдельная маленькая модель переводит каждый кусок текста в вектор чисел. Похожие по смыслу тексты — близкие векторы. На этом строится поиск в RAG: находим куски, «похожие» на вопрос.
Ollama / LM Studioпрограммы, чтобы скачать и запустить модель в пару кликов
Ollama — запуск моделей одной командой в терминале (`ollama run …`). LM Studio — то же с graphical-интерфейсом. Оба сами скачивают нужный квант и поднимают локальный API, к которому подключаются чаты и агенты.
Hugging Face«гитхаб моделей» — где лежат исходные веса
huggingface.co — крупнейший каталог открытых моделей. Там лежат оригинальные веса (репозиторий вида `Qwen/Qwen3-32B`), отзывы, лицензии. Ollama/LM Studio обычно тянут модели именно оттуда.
TTFT (до первого слова)сколько ждать ДО начала ответа
Time To First Token — задержка от нажатия Enter до первого слова ответа (это время префилла). Важна для чата и кодинга: при большом контексте ассистент «думает» несколько секунд перед ответом.
Тир чипа Apple (Pro/Max/Ultra)ступень мощности: чем выше, тем больше ПС и памяти
Внутри поколения (M4, M5…) есть ступени: базовый → Pro → Max → Ultra. С каждой ступенью растут число ядер GPU, пропускная способность памяти (ПС) и потолок единой памяти. Для LLM это главное: Max/Ultra тянут 70B+, базовый — только лёгкие модели. Ultra бывает только в десктопном Mac Studio.
Ядра GPU (Apple Silicon)считают модель; больше ядер → быстрее префилл
Графические ядра выполняют матричные операции инференса. Их число (10 у базового → 40 у Max → 80 у Ultra) сильнее всего влияет на ПРЕФИЛЛ (обработку длинного промпта) и общий компьют. Скорость же ГЕНЕРАЦИИ (ток/с) упирается в первую очередь в ПС памяти.
Биннинг (урезанный чип)тот же чип, но с отключёнными ядрами и НИЖЕ ПС
На производстве чипы с дефектами части ядер продают как «урезанные» (binned) — дешевле. Пример: M4 Max бывает 14 CPU / 32 GPU с ПС 410 ГБ/с ИЛИ полный 16 CPU / 40 GPU с ПС 546 ГБ/с. У урезанного при том же названии «Max» скорость заметно ниже — смотри не на тир, а на ЯДРА и ПС в конфигурации.
Единая память впаяна (Apple)сколько памяти купил — столько и будет, апгрейда нет
У Apple Silicon память распаяна в чипе и не наращивается потом. Это и плюс (ПС огромная), и риск: возьмёшь мало — не подрастёшь под модель побольше. Память выбирают «на вырост» сразу при покупке.
Накопитель (SSD) на Appleне ускоряет инференс, но хранит веса; на Apple дорог
SSD не влияет на скорость модели — она уже в памяти. Но веса надо где-то держать: одна 70B в Q4 ≈ 40 ГБ, а базовый Mac часто идёт с 256–512 ГБ SSD, которого хватит на пару моделей. Апгрейд накопителя у Apple дорогой, поэтому объём тоже планируют заранее.