ИИ без GPU: когда запуск LLM на CPU оправдан
Классификация, извлечение данных, поиск и небольшие языковые модели могут работать на CPU. Но решение зависит от модели, контекста, числа пользователей и допустимой задержки, поэтому инфраструктуру выбирают по результатам нагрузочного теста.
- Проверка на целевом сервере и данных
- Отдельные замеры поиска и генерации
- Сравнение задержки, нагрузки и стоимости
- Квантование и выбор размера модели
- Переход на GPU по измеримым требованиям
Зачем
Почему CPU стоит проверить до закупки GPU
GPU необходим для части сценариев, но его не следует выбирать до формулировки нагрузки. Классификация, эмбеддинги, поиск и компактные модели нередко можно проверить на доступных CPU-серверах. Если задержка и пропускная способность подходят, пилот не зависит от отдельной закупки.
Стоимость владения включает не только сервер, но и память, хранение, драйверы, мониторинг, резервирование и сопровождение. Сравнение CPU и GPU имеет смысл проводить на одном наборе запросов и с одинаковыми критериями качества.
CPU-first в нашем подходе означает порядок проверки, а не обещание отказаться от ускорителей. Если замеры показывают, что CPU не выдерживает целевую модель или параллельную нагрузку, GPU становится обоснованной частью архитектуры.
Что работает
Что обычно имеет смысл тестировать на CPU
Классические задачи
- Классификация документов и обращений
- Извлечение реквизитов и сущностей (NER)
- Полнотекстовый и векторный поиск
- Разметка тематик и приоритетов
Языковые модели
- Компактные LLM с подходящим квантованием
- Эмбеддинги для RAG (sentence-transformers)
- Reranker-модели для уточнения поиска
- Предметные модели после проверки качества и памяти
Прикладные сценарии
- Локальный RAG по корпоративным документам
- Ассистент по регламентам и инструкциям
- Маршрутизация обращений и тикетов
- Сравнение редакций и поиск отклонений
Что не работает
Что на CPU работает плохо или не работает
Крупные модели, длинный контекст и жесткие требования к задержке могут сделать CPU-вариант непрактичным. В таком случае нужен GPU, уменьшение модели или разбиение процесса на этапы, где генерация вызывается только для сложных случаев.
Высокая параллельная нагрузка также меняет экономику решения. Вместо универсального порога мы измеряем задержку и пропускную способность на ожидаемом профиле запросов и сравниваем стоимость конфигураций.
Обучение и дообучение моделей лучше выполнять на GPU, даже если потом инференс будет на CPU. Это разовая инфраструктурная задача: GPU можно арендовать на время обучения и не держать постоянно.
Стек
Какие модели и форматы используем
Для CPU-инференса часто применяются квантованные модели в формате GGUF и совместимые движки. Квантование уменьшает память и может ускорить обработку, но влияние на качество и скорость зависит от модели, железа и параметров запуска.
Для эмбеддингов, классификации и извлечения сущностей доступны отдельные компактные модели. Мы сравниваем их с LLM на целевом наборе данных: более простой компонент часто дает стабильнее измеряемый результат.
Финальный стек подбирается под конкретную задачу на этапе аудита. Мы целенаправленно избегаем «модного» стека ради моды и выбираем то, что стабильно работает в продакшене и переживет обновления через год-два.
Когда GPU
В каких случаях все-таки нужен GPU
Объективные показания к GPU
- Модель не помещается в доступную память CPU-сервера
- Целевая параллельность или задержка не достигается на CPU
- Обработка изображений, аудио или видео
- Дообучение и переобучение моделей
Когда GPU не нужен
- Правила, полнотекстовый поиск и небольшие классификаторы
- Эмбеддинги и индексация при подходящем объеме
- Фоновые пакетные операции без жесткой задержки
- Пилот компактной модели с небольшой параллельностью
Часто задаваемые вопросы
Частые вопросы про ИИ без GPU
Можно ли запустить LLM на CPU?
Да, если модель помещается в память, а скорость и параллельность соответствуют сценарию. Квантованные форматы и CPU-движки позволяют запускать компактные LLM без видеокарты. Приемлемость проверяется на конкретной модели, сервере и наборе запросов.
Какая скорость ответа на CPU?
Скорость зависит от архитектуры и размера модели, квантования, CPU, памяти, длины входа и ответа, а также параллельных запросов. Поэтому универсальная цифра вводит в заблуждение: мы измеряем задержку и пропускную способность на целевом оборудовании.
Сколько RAM нужно для LLM на CPU?
Память рассчитывается по весам модели, формату квантования, длине контекста, числу одновременных запросов и сопутствующим компонентам. Конфигурацию фиксируем после пробного запуска и оставляем запас для операционной системы, индекса, кэшей и мониторинга.
Какие модели лучше всего работают на CPU?
Нет одной лучшей модели для всех задач. Кандидатов выбирают по языку, лицензии, размеру, формату развертывания и затем сравнивают на контрольной выборке. Такой benchmark важнее списка популярных моделей, который быстро устаревает.
Что такое квантование LLM?
Квантование - это упрощение точности весов модели с 16-битного представления до 8, 5, 4 или даже 2 бит. В результате модель занимает в 2–8 раз меньше памяти и быстрее работает на CPU. Q4-квантование (4 бита на вес) - стандартный компромисс между качеством и скоростью.
Можно ли запустить ИИ на обычном ноутбуке?
Некоторые компактные модели можно использовать на ноутбуке для демонстрации или разработки, если хватает памяти. Производственный сценарий нужно проверять отдельно: важны постоянная нагрузка, несколько пользователей, обновления, журналы и резервирование.
Что такое GGUF?
GGUF - формат хранения квантованных моделей, стандарт для CPU-инференса. Модель в GGUF можно загрузить движком llama.cpp без дополнительных конвертаций и запустить с минимальной настройкой. Большинство популярных LLM публикуются в GGUF на Hugging Face.
Что делать, если CPU не справляется?
Проверить меньшую или специализированную модель, квантование, кэширование, пакетную обработку и сокращение вызовов генерации. Затем сравнить масштабирование CPU с GPU по производительности и полной стоимости владения. Выбор фиксируется по измерениям, а не по принципу «GPU никогда не нужен».
Связанные направления
Другие страницы про локальный ИИ, аудит необходимости и развертывание без облака.
Локальный ИИ на сервере компании
On-premise развертывание моделей и данных под управлением ИТ-службы заказчика, включая доступ, журналы и обновления.
Локальная RAG-система
Поиск и ответы по корпоративным документам со ссылками на источники, правами доступа и правилами отказа.
Аудит процессов и стратегия внедрения ИИ
Оценка процесса, данных и baseline до пилота: критерии качества, архитектура, риски и бюджет внедрения.
Заявка
Подобрать стек под CPU для вашей задачи
Опишите задачу - оценим, что можно собрать без GPU и какой ожидать производительности.
Что лучше приложить к заявке
- Какая задача и какой ожидаемый объем запросов.
- Какая инфраструктура доступна (сервера, RAM, виртуализация).
- Есть ли требование локального развертывания.
- Целевая скорость ответа и количество пользователей.