Серверные процессоры AMD Epyc

В этой статье мы постараемся рассказать о процессорах AMD Epyc, которые пришли на смену уже достаточно стареньким AMD Opteron. Расскажем в чем их особенность и почему мы считаем, что у этих процессоров есть хорошие шансы забрать какую-то долю серверного рынка у Intel, который последние годы почти полностью принадлежал процессорам Xeon. В интернете уже много написано про эти процессоры, но к сожалению реалии нашего рынка таковы, что все прогнозы и ожидания на глобальном рынке не находят своего отражения на рынка Казахстана, в итоге на нашей памяти 5-6 серверов поставленных на процессорах Opteron. Причем по большому счету заказчик выбрал эти процессоры лишь по собственному внутреннему желанию.

Если сделать небольшой экскурс в историю, то мы мы вспомним такие процессоры как Athlon MP, Opteron и если Opteron мне удалось увидеть в работе, то про Athlon MP я только читал в тематической прессе. А все это исходит от того, что решения компании AMD представлены на рынке Казахстана уж совсем очень слабо, то ли это плохая работа дистрибьюторов и маркетинга, то ли сам рынок нашей страны не очень интересен этому гиганту. Продукция в виде ЦП нам попадали в очень небольшом кол-ве и чаще всего в составе ноутбуков, предсобранных серверов HP или в игровых консолях. Чего не скажешь о видеокартах основанных на чипах AMD, некоторые из которых особенно нравятся майнерам)) Но это как говорится совсем другая история.

И так, AMD после длительного затишья выпускает десктопные процессоры  Ryzen, архитектура использованная в процессорах Zen действительно очень интересная и имеет хороший задел для её использования в серверном сегменте. Вся хитрость в использовании модульной технологии построения процессоров. Также как и в Ryzen процессор Epyc собирается из так называемых CCX модулей, которые представляют из себя четырехядерный кристалл c общим кэшем L3 в 8МБ и отдельным L2 на 512КБ на каждое ядро. Собирая два таких кристалла в один при помощи шины Infinity Fabric получается 8 ядерный модуль ССХ. Эта минимальная единица и является базовым кирпичиком для всех процессоров Epyc. Такая архитектура позволяет масштабировать производительность и эффективность каждой модели очень гибко и снижает издержки на производство готовой продукции. Еще каждый кристалл ССХ несет в себе двухканальный контроллер PCIe x16.

Устройство модуля CCX:  Взято с сайта Ixbt.ru

Сам по себе шина Infinity Fabric заслуживает отдельного обсуждения, т.к. её цель связь модулей ССХ между собой и и не только по кольцу, но и между собой. Это что-то вроде процессоров Intel Xeon Е7 которые имеют QPI шины для связи между собой Х-образно, только в масштабах одного процессора. Эта же шина связывается два процессора в разных сокетах и мало того, ядра одного сокета связаны ядрами другого сокета как напрямую так и через межсоектное соединение по той же шине Infinity Fabric. Очень крутая вещь на наш взгляд и работать должно быстро, но как-то все это сложно, как все это синхронизировать?

Если раньше мы говорили про архитектуру NUMA в двух процессорах  Intel, то тут все на порядок сложнее.  А знаете еще почему? А потому-что каждый модуль ССХ имеет свой собственный  двухканальный контроллер памяти, а при склеивание в один ССХ модуль получает 4 канала памяти. А самый простой 8 ядерный процессор собранный из двух модулей ССХ получает 8 каналов памяти.  Ниже представлена схема организации памяти для 32 ядерного CPU Epyc.

Но и это еще не все. Шина Infinity Fabric обслуживает и другие компоненты которые присутствую на процессоре, а новые процессоры действительно несут в себе почти все важные интерфейсы, PCIe и даже USB и SATA разместились на процессоре, там же всевозможные HPET, UART итд.  В перспективе наверное и встроенные графические ядра. Хотя к серверному сегменту это слабо относится.

Все процессоры поддерживают современные наборы инструкции, но вот в отличии от новых процессоров Intel, не поддерживает AVX-512. А использование модульной архитектуры позволило оптимизировать энергосбережение, т.к. каждый модуль имеет свой контроллер питания и механизмы оптимизации расхода энергии.

Помимо этого в процессор внедрили модуль аппаратного шифрования данных в оперативной памяти. Называется он AMD Secure Processor и позволяет зашифровать данные в оперативной памяти при не сильном снижении производительности.

С архитектурой более-менее разобрались, давайте теперь посмотрим на модельный ряд. А тут получается интересно, т.к. все процессоры сделаны из одних и тех же блоков, а они архитектурно унифицированы. Получается, что все процессора в модельном ряду поддерживают 8 каналов памяти, даже самый бюджетный, и все работают с памятью частотой до 2666Mhz. Все имеют 128 линии PCIe, отличаются лишь частотами и  кол-вом ядер.

Модельный ряд не такой большой как у Intel, но он легко может быть расширен, ведь архитектура модульная и масштабируемая. А вот большое кол-во линии PCIe отличный задел на светлое будущее с NVMe. Но тут есть некоторые тонкости, достойные отдельного рассказа.

У нас в Казахстане сервера на базе процессоров AMD Epyc будут скорее всего представлены таким партнерами как HP, возможно Asus и Tyan. Мы берем на себя задачу продвигать решения AMD используя решения нашего партнера Supermicro. Уже сегодня мы видим интерес со стороны заказчиков на решения на базе Epyc, даже не смотря на выход новых процессоров от Intel. Но уже первые расчеты серверов показывают, что не все так просто как кажется на первый взгляд. Но сложности с которыми мы столкнулись при конфигурировании такого сервера мы расскажем в обзоре одной из систем Supermicro.