Сервер для нейросетей редко упирается в процессор, но от него зависит, сколько видеокарт удастся подключить без потерь и насколько быстро будут подаваться данные. Платформа AMD EPYC на сокете SP3 уже несколько лет остаётся популярной базой для AI-хостов. Разберём, чем различаются поколения 7002 и 7003 и какое из них лучше подходит под ваши задачи.
Что даёт платформа EPYC для видеокарт
Главная причина выбирать EPYC для AI-сборок — количество линий PCIe. Процессоры EPYC 7002 Rome предоставляют до 128 линий PCIe 4.0, этого достаточно, чтобы подключить несколько ускорителей на полной скорости x16 и ещё оставить линии под NVMe-накопители и сетевые карты.
Вторая важная особенность — восьмиканальная память DDR4. Широкая шина питает ядра данными без задержек, что особенно заметно при подготовке датасетов, токенизации и работе с несколькими потоками инференса. На потребительских платформах с двумя каналами такого результата добиться невозможно.
Чем Milan отличается от Rome
Поколение Milan построено на архитектуре Zen 3, а Rome — на Zen 2. Подробные модели и характеристики можно посмотреть здесь: https://g-race.ru/catalog/protsessory-epyc-7003-milan/. Главные улучшения Milan — более высокая производительность на такт и объединённая кэш-память в блоке из восьми ядер, которая снижает задержки доступа к данным.
При этом число линий PCIe и каналов памяти осталось прежним: до 64 ядер, 128 линий PCIe 4.0 и восемь каналов DDR4-3200. Оба поколения используют один сокет SP3, поэтому платы часто совместимы с обеими сериями, хотя для Milan иногда требуется обновление BIOS.
Когда достаточно Rome
Если процессор выполняет роль диспетчера для видеокарт, то есть подаёт данные и управляет задачами, а основная нагрузка ложится на GPU, разница между поколениями на практике невелика. В таких сборках Rome обычно выигрывает по цене и позволяет направить бюджет на ускорители.
Rome подойдёт для инференса языковых моделей, сборок с несколькими картами Tesla и для лабораторных стендов. Платформа проверена временем, комплектующие для неё распространены, а подобрать материнскую плату и память можно без долгого поиска.
Когда стоит взять Milan
Milan имеет смысл, когда процессор активно участвует в вычислениях: предобработка данных, виртуализация, запуск контейнеров, CPU-инференс небольших моделей. Прирост производительности на ядро здесь даёт заметный выигрыш во времени выполнения задач.
Также Milan логичен, если сервер должен работать универсально, а не только как носитель видеокарт. Дополнительная производительность на ядро помогает, когда на одной машине запускают разные сервисы одновременно и важна отзывчивость под смешанной нагрузкой.
Как оценить нагрузку на процессор
Прежде чем выбирать поколение, стоит измерить, чем именно заняты ядра в вашем сценарии. Если во время инференса загрузка процессора остаётся низкой, а видеокарты работают на пределе, переплата за более новое поколение не оправдана. Если же ядра заняты подготовкой данных, обработкой запросов и фоновыми сервисами, дополнительная производительность Milan быстро окупится.
Также учитывайте будущее расширение: платформа с большим запасом линий PCIe позволяет добавлять видеокарты по мере роста задач без замены процессора и платы. Это делает EPYC удобной основой для сервера, который будет развиваться вместе с проектом.
Заключение
Для AI-хоста с несколькими видеокартами оба поколения EPYC дают отличную базу: много линий PCIe и широкую память. Rome выгоднее при ограниченном бюджете и GPU-центричных задачах, Milan лучше раскрывается там, где процессор работает в полную силу. Определите долю нагрузки на CPU, и выбор станет очевидным.
Часто задаваемые вопросы
Сколько линий PCIe у EPYC 7002 и 7003?
У обоих поколений до 128 линий PCIe 4.0, чего достаточно для нескольких видеокарт на полной скорости.
Подходит ли одна материнская плата под Rome и Milan?
Часто да, так как оба поколения используют сокет SP3, но для Milan может потребоваться обновление BIOS.
Какая память нужна для EPYC 7002?
Серверная регистровая память DDR4 с поддержкой ECC, платформа работает с восемью каналами.
Что выбрать для сборки с картами Tesla?
Обычно достаточно Rome: процессор работает диспетчером, а основная нагрузка ложится на ускорители.
В чём главное преимущество Milan?
Более высокая производительность на такт и объединённый кэш в блоке из восьми ядер.
Нужен ли мощный процессор для инференса?
Для GPU-инференса достаточно умеренного количества ядер, важнее линии PCIe и скорость памяти.