Мы много лет продаем серверы и можем по своему опыту сказать как меняется запрос заказчика в разных сегментах рынка. Рынок серверов конечно заметно отличается от розничного, где за какой-то небольшой отрезок времени симпатии заказчиков могут сместиться от обычных десктопов к моноблокам и ноутбукам, а затем снова качнуться в сторону десктопов или как было в 2020 году, когда из-за коронавируса школьники и студенты, да и многие корпоративные заказчики были вынуждены смести со складов и витрин все возможные мобильные устройства, годные для организации удаленной работы, различных видеоконференции итд.
На серверном рынке тоже происходят перемены они конечно не такие резкие и динамичные, но тенденция прослеживается. Давайте посмотрим на 5-7 лет назад, думаю это оптимальный срок для понимания изменении которые происходят на рынке. И если смотреть глобально, то первое что бросается в глаза это масштаб перехода на твердотельные накопители.
Дисковая подсистема
Первое время заказчики боялись перехода хоть и на быстрое, но на тот момент дорогое и не такое надежное хранилище. Выбирали такие хранилища для работы каких-то не критический важных, но требовательных к производительности задач. Постепенно, производители доработали свои решения, что позволило выпускать надежные, быстрые, а самое главное более доступные решения на рынок. Это позволило почти полностью переместить спрос с когда-то быстрых дисков SAS 10K и 15К в сторону твердотельных накопителей. Сегодня классические SAS диски покупаются для укомплектации ранее купленных систем и очень редко при внедрении новых.
Но сегодня уже сформировался новый актуальный тренд на смену интерфейса твердотельников на шину PCI-E, это позволяет избежать бутылочного горлышка архаичного SATA\SAS интерфейса в местах где нужна скорость. Причем это наблюдается даже в сегменте СХД. Благодаря таким гигантам как Intel и BrodCom, которые продвигают технологии VROC и контроллеры с возможностью построения RAID массивов из таких накопителей рынок идет гигантскими шагами к массовому использованию технологии. Это хорошо заметно на примере Supermicro, которая вначале представляла всего 2-4 гибридных порта в серверах для установки дисков NVMe, а теперь почти треть, а думаю скоро и половина будет иметь такие разъемы для дисков. Ведь системы All flash NVMe тоже очень популярны и с успехом продаются Супремикрой и другими брендами.
Если вам показалось, что это предел, то можно взглянуть на пирамиду хранения данных от Intel, на вершине которой расположена Optane DC Presistant Memory, которая является гибридном оперативной и энергонезависимой памяти. Она обладает высокой производительность близкой к DRAM, но не теряет данные при отключении питания. Данная память поддерживается вторым поколением процессоров Intel Xeon Scaleble уровня Gold и одной моделькой Silver. Для работы этой памяти необходима и поддержка со стороны модулей и материнской платы. Мы пока в своей практике с этой памятью еще не встречались, но Intel делает четкие шаги в продвижении данной технологии, поэтому думаю скоро уже встретимся и будем активно предлагать клиентам.
Еще одно направление, которое сложилось в сегменте хранения информации в серверах и на наш взгляд очень положительное. Это понимание заказчика, что в серверных решениях нужно использовать оборудование разработанное специально для этого сегмента рынка. Сейчас установить обычный декстопную Barracudа или WD Blue или Green откровенный моветон. И это касается как твердотельных так и классических HDD. В NAS ставим WD RED или IronWolf, под наблюдение WD Purple и SkyHawk, в серверы WD Gold и EXOS. Если SSD то Intel S4510 или S4610, ну и P4510\P4610 для NVMe.
Процессоры
Второе, что добавило драйва и серьезно расшевелило рынок, то это второй приход процессоров AMD. Казалось, что уже никто не сможет пошатнуть позиции Intel на этом рынке, ведь последний раз мы видели процессоры Opteron в далеком прошлом и хоть у них и были определенные преимущества перед решениям от конкурента, AMD тогда не смогла сильно перекроить рынок под себя. Но с приходом процессоров Epyc AMD серьезна дала понять, что списывать её со счетов еще рано. Новые процессора благодаря уникальной архитектуре и что очень важно с более современным техпроцессом производства заставили пересмотреть планы своего конкурента. Если пробежаться в вкратце, то это большее кол-во ядер, поддержка 8 каналов памяти с шиной 3200 МГц, 128 линий PCI-E и все эти новшества доступны во все линейке процессоров Epyc от самого бюджетного до самых топовых моделей. А главное, все это по демократическим ценам и с хорошими показателями TCO, т.к. теперь плотность размещения ядер в стойке увеличивалась, а энергопотребление как самих процессоров, так и инфраструктуры для их обслуживания\охлаждения уменьшались. Такие изменения не могли не сказаться на рынке, поэтому Intel тоже представила Xeon Scalabale 2nd Generation с кодовым названием Cascade Lake, которое внесло больше ядер и больше частот в модельный ряд. Казалось, что рынок пришел к балансу, но AMD представила обновленную линейку процессоров Epyc 7002, построенную на архитектуре ZEN 2 в которой они хорошо поработали над ошибками, внесли изменения в архитектуру процессора, оптимизировали работу шины Infinity Fabric, прикрутили PCI-E 4.0 еще лучше оптимизировали работу алгоритмов работы ядер, что дало прирост по частотам, а заложенная ранее чиплетная компоновка позволила разместить до 64 физических ядер на процессор, например EPYC 7702 и 7742. Это позволило многим сборщикам серверов таким как Dell, HP, Supermicro, Tyan, Gigabyte, Tyan итд заявить о большом кол-ве рекордов производительности побитых их решениями построенными на новой платформе от AMD. Кстати, мы тоже побили небольшой рекорд. Почитайте тут. AMD делала ставку на доступность и эффективности их решении на фоне конкурентов, особенно было интересно в те времена, когда VMware лицензировало продукты по сокетам. Казалось, что в этот раз АМД окончательно положило интел на лопатки, но такого гиганта как Intel нельзя недооценивать, в очень сжатые сроки были представлены обновленные процессоры которые получили название Cascade Lake Refresh, что в очередной раз добавило ядер в ранее существующие модели и подняло частоты, добавились механизмы ускоряющие работу с ИИ и еще несколько различных обновлении. Паритет был восстановлен, но как кажется это не надолго, AMD готовит Zen 3, Intel уже не может выжимать производительность со своих 14нм процессоров, значит скоро будет новый виток в противостоянии двух гигантов.
А что говорит статистика?
Кстати, за 2019 год AMD удалось забрать у Intel 5% в ЦОД, а по предсказаниям эта доля возрастет до 20-25% в ближайшие 10 лет. Долго? А как же, с таким гигантом как Intel бороться очень тяжело, но очень интересно. Больше 60% продаж процессоров приходится на Xeon Silver 4210, Xeon Silver 4210R и Silver 4214R. Средний сегмент, примерно 10% от продаж представлен процессорами Xeon Gold 6230R, Xeon Gold 5218R итд, топовый Platinum 8120 продавался всего один раз. Остальные 25% и 5% делят между собой процессоры линейки Xeon E с моделями Xeon E3 1220v6, Xeon E 2224, Xeon E 2226 и вся линейка AMD Epyc поколения 7001 и 7002 соответственно.
Если смотреть глобально, то эта интенсивная война гигантов привнесла на рынок больше производительности, больше ядер, больше оперативной памяти и тактовых частот. Эта мода сказалась и на бюджетной линейке Intel Xeon E3, которая за эти годы сменила поколения и прошла эволюцию от v1 до v6 и сменила название на Xeon E с индексами 2100, 2200 и 2300 актуальную на сегодня. В которой встречаются 8 ядерные модели с поддержкой 128Гб оперативной памяти.
Отдельно виток развития получили процессора Xeon D и Atom, которые в эпоху IoT или интернет вещей нашли свою нишу, а в свете развития технологии 5G у них есть очень хорошие перспективы.
Такого динамичного развития сегмента рынка серверов мы на своей памяти не помним. Но это хорошо, конкуренция залог развития, от которого в конечном итоге выигрывают все.
Вычисления на GPU и ИИ
на борт 8 ускорителей Tesla
Если 10 лет назад, использование видеокарт в серверах и рабочих станция сводилось к работе с графикой, то постепенно начал проявляться такой феномен как вычисления на видеокартах. Как оказалось, задачи которые хорошо распараллельиваются эффективнее решать на видеокартах, архитектура которых очень хорошо подходит для этого. Первая Tesla от Nvidia поступившая к нам на склад в начале второго десятка второго тысячелетия пролежала без малого 2 или 3 года на складе, т.к. заказчики не понимали для чего нужна эта видеокарта без разъема под монитор и как использовать заложенный в неё потенциал. Но постепенно на рынке появилась потребность в таких решениях и многие разработчики ПО подтянули свои решения для совместной работы с такими железками и к нам начали поступать первые запросы. Наша первая Tesla ушла к заказчику на тестирование, после которого он смог реально оценить эффективность просчета траектории полета спутника при помощи такого суперкомпьютера внутри сервера и к нам поступил первый твердый заказ на вычислительный кластер на базе GPU.
Время шло, задач для таких ускорителей становилось все больше. Решения от Nvidia становились с каждой линейкой становились все мощнее и мощнее, появились нейросети, которые очень эффективно работали с такими ускорителями, а главное на горизонте маячили огромное кол-во задач, которые машинное обучение решает лучше и эффективнее человека. Каждое банальное действие человека, машины или изменение в природе создает огромное кол-во информации которое формирует модное слово Big Data, c этим огромным массивом данных лучше всего работают именно такие специфичные сервера, которые при помощи глубокой аналитики могут предсказать какое такси будет удобнее для вас, какое блюдо или ресторан вам по вкусу и какая погода будет завтра. Решения VDI под название Grid, тоже делает ставку на подобные конфигурации. Конечно есть такой интересный рынок как blockchain и прочие эти ваши биткойны, но Tesla из-за своей цены не очень интересна майнерам, тут королем считаются или считались решения от AMD Radeon.
Кто чаще всего заказывает такие решения?
Интересно, но основной спрос на данные решения на нашем рынке был сформирован различными институтами и ВУЗами. Это очень радует нас, т.к. решения где используются ускорители Tesla идут на передовой современных технологии, а значит наши университеты и другие заказчики идут в ногу со временем. Надо заметить, что не всегда такие сервера получаются монстрами вычислении, ведь с появлением Tesla T4, заказчик может установить такую карту почти в любой современный ПК, главное соблюдать нормы по мощности БП и потоку воздуха для охлаждения данного устройства.
Конечно, заказчик часто понимает, что бюджет на такие решения выбить не получится, но ведь хочется прикоснуться к магии таких вычислении, поэтому выбирает игровые аналоги в лице Nvidia RTX2080Ti или Titan RTX. Эти же модели идут и в графические станции с ограниченным бюджетом, ведь Qudro RTX тоже решение не из дешевых. Благо у Supermicro есть огромный выбор готовых систем или компонентов для создания рабочих станции и серверов для любого набора видеокарт. Это и усиленные цепи питания для подключения мощных ускорителей и огромный выбора переходников для конвертации разъемов питания в необходимый стандарт и форм-фактор и большое кол-во доработок, которые позволяют оптимизировать систему охлаждения для этих горячих прожорливых компонентов.
В итоге, то что 10 лет назад продавалось по 3 года, сейчас продается тиражом по 5-6 проектов в год. Рынок поменялся и решения для PCI-E уже делят рынок с сокетными решениями как от Intel c их x86 заточенным Xeon Phi, так и Nvidia перешла на аналогичный форм-фактор. Спрос на подобные решения есть, значит и рынок будет отвечать предложением.
Сетевые интерфейсы
Думаю можно сказать, что эта часть сервера наиболее консервативна и претерпела меньшего всего изменении с точки зрения спроса. Конечно, в индустрии нет застоя и выход процессоров Intel c литерой F в первом поколении процессоров Xeon Scalable тому подтверждение. На моей памяти это первый серверный процессор имеющий прямой выход на сетевой интерфейс, да и заявленная скорость 100Гбит\с говорит о многом. Что характерно в следующих поколениях от этого типа процессоров решили отказаться, но это дает понимание, что текущая скорость интерфейсов уже где-то не справляется со своими задачами и такие скоростные интерфейсы становятся уже становятся уделом не только суперкомпьютерам в гигантских ЦОД.
Мы же в своей работе привыкли, что стандартные 1Гбит\с сетевые адаптеры справляются со своей задачей и покрывают потребности заказчиков. Так длилось очень долго, лишь изредка заказчики просили доукомплектовать сервер дополнительными портами, но все на тех же скоростях. Но в последние пару лет, мы замечаем возрастающий спрос на сетевые интерфейсы с большей пропускной способностью. Здесь речь идет пока о 10Гбит\с в разных форм-факторах, это и SFP+ и родной и такой домашний Ethernet Base-T, т.е. RJ-45. На эти случаи у нас готовы материнские платы со встроенными интерфейсами RJ-45 от Supermicro. Такие материнские платы и системы имеют литеру Т на конце, например: X11DPi-NT, X11DPH-T итд. Если есть пожелания использовать SFP+, то мы используем внешние карты, такие как AOC-STGN-i2S итд. Но если мы можем записать эти требования уже к более-менее стандартным, то 25Гбит\с и 40Гбит\с пока можно назвать специфичным. Здесь на нам на помощь приходят решения от Mellanox. Нельзя забывать и про старый добрый FiberChannel, который сейчас уже торгуется на скоростях 16Гбит\с. Эволюция этого интерфейса идет именно так, как его в свое время презентовали и планировали такие гиганты как Qlogic и Brocade. У этого интерфейса есть своя ниша такая как SAN сети и в них он себя успешно реализует.
Оперативная память
Было бы очень скучно описывать изменения в этой части сервера, ведь все мы знаем аксиому, что оперативной памяти много не бывает. И нужно сказать, что последние года это успешно подтверждают. Появляются новые модули памяти LRDIMM, которые могут уже одной планкой закрыть 256ГБ. Каналов памяти становится больше, границы максимально поддерживаемого объема расширяются, шина памяти уже тоже достигла 3200Мгц. Но как я описывал выше, Intel делает очередной архитектурный шаг с памятью Optane. Собственно ждем дальнейшей эволюции в этой части. Пока же мы можем сказать, что модули меньше 32Гб уже кажутся чем-то странным. Памяти продается больше и она быстрее и надежнее.
Блоки питания
Все эти изменения которые я описывал выше не могут сказаться на блоках питания да и вовсе на внешнем виде современных серверов. Если вы накачали мышцы, скорее всего вам нужно лучше кушать и скорее всего вам нужно будем сменить одежду. В старой вам будет немного тесновато.
Блоки питания идут по пути эволюции и становятся мощнее и эффективнее, почти все блоки выпускаемые сегодня сертифицированы по стандарту эффективности 80Plus Gold. В массе своей мы продаем сервера с мощностью блоков от 700Вт и выше. Причем такая популярная модель шасси как Supermicro CSE-825TQ претерпела больше трех модификации блоков питания в 3-х летний срок. Мы её помним, как CSE-825TQ-R720, но затем с переходом на SAS3 появилась модель CSE-825TQC-R740 уже с блоком на 740Вт против модели на 720Вт в старом варианте. В течение года и эта модель была заменена на более современный CSE-825TQC-R802 уже с блоком на 800Вт и это не предел, доступна аналогичная модель с блоками на 1000Вт и выше. Такой постоянный прирост мощности блоков можно объяснить только с ростом мощности и потребления современных систем. Причем, такая динамика видна по всей линейке шасси и системы выпускаемых Supermicro. За других производителей таких как HP, DELL и другие отвечать не могу. Лишь скажу, что в одной из популярных моделей мини серверов от HP Proliant MicroServer Gen10Plus используется внешний адаптер схожи с теми, что используются на ноутбуках. Но это очень своеобразная ниша серверов, в которых во главу угла ставится не высокая производительность, а экономичность, бесшумность и другие качества предъявляемые к устройствам класса SOHO.
Форм-фактор
Что касается форм-фактора серверов, то тут наблюдаются разнонаправленные тенденции, объяснить которые мы полностью не можем и связано это скорее со спецификой наших заказчиков. Т.е. чаще всего наши заказчики — это бизнес, а не какие-то государственные учреждения где нужна какая-то очень специфичная техника. Но давайте попробуем систематизировать наши данные. Если лет 10 назад, соотношение продажи серверов в шасси Rack и Tower составляло примерно 70% на 30%, то постепенно процент серверов в шасси башня постепенно снижается. Возможно, это связано с тем, что сейчас уже любой бизнес понимает значение IT в своей работе и выделяет отдельные помещения для построения нормальной инфраструктуры, т.е. мы уже почти не слышим жалоб заказчиков на то что наш сервер очень шумный и он мешает работать персоналу в одной с ним в комнате. Практика размещения башен в офисе уходит. Их место занимают мелкие сервера из линейки HP Proliant MicroServer или Dell PowerEdge T40, а для хранения общих данных небольшие компании вовсе выбирают NAS решения от той же Synology или QNAP, а может и в облака. Классно? Конечно. Эту динамику мы косвенно видим в росте продаже смежного нашего направления по продаже все тех же NAS Synology. Прям разлетаются как горячие пирожки у вокзала.
Что касается в Rack, то тут ситуация тоже интересная. Идет постоянная борьба за юниты в шкафах. Заказчики не хотят платить лишние деньги за колакейшен и поэтому просят впихнуть как можно больше в 1U. Выглядит это примерно так: «нам нужно два процессора и много оперативной памяти, широкие сетевые интерфейсы и много дискового пространства» и вроде пока все нормально, мы можем это сделать, благо 2.5″ диски не занимают много места и объем уже нормальный могут обеспечит, но когда говорят: «дисков на 16ТБ и штук где-то 12». И тут наступает ступор, как это сделать? Благо, таких запросов много и не только у нас видать, раз производители делают такие решения. Посмотрите на фото. Получите и распишитесь.
С ростом объемов данных которые необходимо хранить, по настоящему раскрылся интерфейс SAS, который позволяет подключать большое кол-во дисков через полки JBOD, которых у Supermicro появилось тоже в большом ассортименте. Тоже очень востребованное решение сегодня. Где используя слабенький 1U сервер с одним процессором Xeon E, c ОС на модуле SATA-DOM и контроллером типа BroadCom MegaRAID 9361-8i с конвертером на внешний интерфейс и этот малыш выдает вам 240 дисков в любой конфигурации RAID или в IT режиме на каком-нибудь HBA.
Интересно, но раньше Blade сервера казались чем-то очень крутым и плотным и перспективным, но сегодня на них спрос совсем упал. Я думаю это заслуга всевозможных вирутализации и облачных решении. Не могу точно сказать, с чем это связано, но спрос на них снизился в последнее время.
Статья в процессе написания