Серверы операторского класса

Открытые системы, 5/2012

Олег Витальевич Холодный, ЗАО "РТСофт"

Разработчикам компьютерного оборудования для телекоммуникационной индустрии традиционно приходится сталкиваться со специфическим набором требований, и серверы операторского класса — характерный пример.

Ос­нов­ны­ми тре­бо­ва­ни­я­ми к сер­ве­рам опе­ра­тор­ско­го клас­са (carrier-grade servers), пред­на­зна­чен­ным для уста­нов­ки на стан­ци­ях и узлах связи, все­гда были со­хра­не­ние ра­бо­то­спо­соб­но­сти даже в экс­тре­маль­ных усло­ви­ях и устой­чи­вость к раз­лич­ным воз­дей­стви­ям со сто­ро­ны окру­жа­ю­щей среды. На деле речь, как пра­ви­ло, идет о со­от­вет­ствии аме­ри­кан­ско­му стан­дар­ту NEBS (Network Equipment-Building System), ос­но­вы ко­то­ро­го были за­ло­же­ны еще в 70-х годах спе­ци­а­ли­ста­ми Bell Labs. Стан­дарт не имеет юри­ди­че­ской силы, но при этом фак­ти­че­ски опре­де­ля­ет клю­че­вые кри­те­рии без­опас­но­сти и на­деж­но­сти, ши­ро­ко ис­поль­зу­е­мые при раз­ра­бот­ке и те­сти­ро­ва­нии обо­ру­до­ва­ния для те­ле­ком­му­ни­ка­ци­он­ных при­ло­же­ний. Од­на­ко по­вы­шен­ной на­деж­но­сти и при­год­но­сти к экс­тре­маль­ным усло­ви­ям экс­плу­а­та­ции се­год­ня за­каз­чи­кам часто бы­ва­ет недо­ста­точ­но — рас­ши­ря­ет­ся круг при­ло­же­ний, ко­то­рым также необ­хо­ди­мы вы­со­кая про­из­во­ди­тель­ность и энер­го­эф­фек­тив­ность со­вре­мен­ных мно­го­ядер­ных про­цес­со­ров в со­че­та­нии с дли­тель­ным жиз­нен­ным цик­лом сер­ве­ров. Сфера при­ме­не­ния по­доб­ных про­дук­тов вклю­ча­ет уни­фи­ци­ро­ван­ный обмен со­об­ще­ни­я­ми, IP-те­ле­фо­нию, си­сте­мы мо­биль­ной связи и управ­ле­ния го­ло­со­вым тра­фи­ком, услу­ги «видео по за­про­су», бил­лин­го­вые си­сте­мы и т. д. Более того, рас­ши­ря­ет­ся ис­поль­зо­ва­ние таких си­стем и вне рамок те­ле­ком­му­ни­ка­ци­он­ной отрасли.

Одной из осо­бен­но­стей рынка сто­еч­ных ком­му­ни­ка­ци­он­ных сер­ве­ров до неко­то­ро­го вре­ме­ни было при­сут­ствие на нем кор­по­ра­ции Intel на­ря­ду с тра­ди­ци­он­ны­ми ли­де­ра­ми сер­вер­ной ин­ду­стрии, та­ки­ми как Oracle (про­дук­ты Sun Microsystems) и HP. Пер­вые си­сте­мы, со­от­вет­ству­ю­щие стан­дар­ту NEBS, были пред­став­ле­ны ком­па­ни­ей Intel в конце 2001 года, когда ли­ди­ру­ю­щие по­зи­ции на этом рынке за­ни­ма­ли сер­ве­ры се­мей­ства Netra ком­па­нии Sun Microsystems, поль­зо­вав­ши­е­ся осо­бой по­пу­ляр­но­стью у ин­тер­нет-про­вай­де­ров. В ка­че­стве ос­нов­ных за­каз­чи­ков ком­па­ния Intel рас­смат­ри­ва­ла OEM-про­из­во­ди­те­лей сер­ве­ров и по­став­щи­ков те­ле­ком­му­ни­ка­ци­он­но­го обо­ру­до­ва­ния и ре­ше­ний. Несмот­ря на то что этот биз­нес еже­год­но при­но­сил ком­па­нии несколь­ко де­сят­ков мил­ли­о­нов дол­ла­ров, на гребне гло­баль­но­го кри­зи­са в конце 2008 года в Intel было при­ня­то ре­ше­ние о его про­да­же ком­па­нии Kontron. Новые вла­дель­цы биз­не­са не стали от­ка­зы­вать­ся от ком­мер­че­ских под­хо­дов, прак­ти­ко­вав­ших­ся Intel, до­пол­нив их по­став­ка­ми сер­ве­ров ко­неч­ным поль­зо­ва­те­лям и рас­ши­рив объ­е­мы по­ста­вок в про­ект­ной сфере.

Сег­мент сер­ве­ров опе­ра­тор­ско­го клас­са срав­ни­тель­но неве­лик — не более 10% от об­ще­го объ­е­ма по­ста­вок сер­ве­ров в фи­нан­со­вом вы­ра­же­нии, од­на­ко дан­ный сег­мент менее под­вер­жен флук­ту­а­ци­ям, ха­рак­тер­ным для рынка сер­ве­ров в целом. После бур­но­го всплес­ка в пе­ри­од ин­тер­нет-бу­ма на ру­бе­же смены ты­ся­че­ле­тий в ди­на­ми­ке раз­ви­тия рынка сер­ве­ров опе­ра­тор­ско­го клас­са столь рез­ких скач­ков не фик­си­ро­ва­лось, но на­блю­дал­ся ста­биль­ный рост, со­став­ляв­ший, по оцен­кам спе­ци­а­ли­стов, в сред­нем около 3–4% в год.

Стан­дарт NEBS

По­сколь­ку спе­ци­фи­ка­ции NEBS по сути опре­де­ля­ют об­ще­при­ня­тые прин­ци­пы раз­ра­бот­ки и те­сти­ро­ва­ния обо­ру­до­ва­ния для сферы те­ле­ком­му­ни­ка­ций, не будет пре­уве­ли­че­ни­ем утвер­ждать, что этот стан­дарт и по­ло­жил на­ча­ло рынку сер­ве­ров опе­ра­тор­ско­го клас­са. Корни NEBS ухо­дят во вре­ме­на Bell Labs, где была на­ча­та раз­ра­бот­ка уни­фи­ци­ро­ван­ных спе­ци­фи­ка­ций на­деж­но­сти и без­опас­но­сти для обо­ру­до­ва­ния те­ле­фон­ных стан­ций. После раз­де­ла Bell System с се­ре­ди­ны 80-х даль­ней­шая ра­бо­та над спе­ци­фи­ка­ци­я­ми NEBS осу­ществ­ля­лась под эги­дой ком­па­нии Bellcore, учре­жден­ной об­ра­зо­вав­ши­ми­ся в ре­зуль­та­те раз­де­ла ре­ги­о­наль­ны­ми опе­ра­то­ра­ми связи. Позже ком­па­нию пе­ре­име­но­ва­ли в Telcordia Technologies, а с 2012 года она стала ча­стью кор­по­ра­ции Ericsson.

По­ми­мо Telcordia в ра­бо­те над стан­дар­том NEBS при­ни­ма­ют уча­стие че­ты­ре круп­ней­ших опе­ра­то­ра связи: AT&T, Verizon, BellSouth и Qwest, ко­то­рые сфор­ми­ро­ва­ли ра­бо­чую груп­пу Telecommunications Carrier Group для вы­ра­бот­ки уни­фи­ци­ро­ван­ных спе­ци­фи­ка­ций NEBS. Каж­дый из этих опе­ра­то­ров со­хра­ня­ет за собой право ис­поль­зо­вать соб­ствен­ные кри­те­рии со­от­вет­ствия NEBS, в част­но­сти, смяг­чая или, на­о­бо­рот, уже­сто­чая те или иные тре­бо­ва­ния в за­ви­си­мо­сти от ха­рак­тер­ных осо­бен­но­стей ра­бо­ты их сетей.

Спе­ци­фи­ка­ци­я­ми Telcordia опре­де­ле­но три уров­ня со­от­вет­ствия NEBS. Пер­вый — ба­зо­вый, при­зван­ный ми­ни­ми­зи­ро­вать риск вы­хо­да обо­ру­до­ва­ния из строя и ущерб от этого для всей сети в целом. Без­опас­ность си­стем, от­ве­ча­ю­щих тре­бо­ва­ни­ям пер­во­го уров­ня NEBS, необ­хо­ди­мо под­твер­ждать те­сти­ро­ва­ни­ем на со­от­вет­ствие спе­ци­фи­ка­ци­ям GR-63-CORE (устой­чи­вость к фи­зи­че­ским воз­дей­стви­ям) и GR-1089-CORE (элек­тро­маг­нит­ная сов­ме­сти­мость). Вто­рой уро­вень опре­де­ля­ет кри­те­рии под­дер­жа­ния ра­бо­то­спо­соб­но­сти и удоб­ства в ис­поль­зо­ва­нии для устройств, уста­нав­ли­ва­е­мых в по­ме­ще­ни­ях с си­сте­ма­ми кли­ма­ти­че­ско­го кон­тро­ля (на­при­мер, в ЦОД). Так как эти кри­те­рии сфор­му­ли­ро­ва­ны несколь­ко раз­мы­то, дан­ный уро­вень стан­дар­та на прак­ти­ке почти не при­ме­ня­ет­ся. Тре­тий уро­вень NEBS пред­по­ла­га­ет со­от­вет­ствие всем наи­бо­лее стро­гим тре­бо­ва­ни­ям спе­ци­фи­ка­ций GR-63-CORE и GR-1089-CORE, в том числе — устой­чи­вость к воз­дей­ствию вы­со­ких и низ­ких тем­пе­ра­тур, влаж­но­сти, вы­со­ты, а также уда­рам мол­нии, зем­ле­тря­се­ни­ям, по­жа­рам и т. д. Тре­тий уро­вень ха­рак­те­ри­зу­ет­ся наи­бо­лее слож­ной и дли­тель­ной про­це­ду­рой ис­пы­та­ний те­сто­вых об­раз­цов, на про­хож­де­ние ко­то­рой может тре­бо­вать­ся несколь­ко месяцев.

Cер­вер­ных ре­ше­ний, от­ве­ча­ю­щих тре­бо­ва­ни­ям NEBS, на рынке до­ста­точ­но много, но чаще среди них встре­ча­ют­ся более до­ро­гие мо­дуль­ные си­сте­мы в форм-фак­то­рах MicroTCA, AdvancedTCA и CompactPCI. Сер­ве­ры в стан­дарт­ном кон­струк­ти­ве обыч­но пред­став­ле­ны скром­нее. В этот элит­ный клуб вхо­дят, в част­но­сти, такие ком­па­нии, как Oracle, HP, Kontron, Dell.

Неко­то­рые тесты, ко­то­рым под­вер­га­ет­ся обо­ру­до­ва­ние при его про­вер­ке на со­от­вет­ствие тре­бо­ва­ни­ям NEBS, вполне могут шо­ки­ро­вать непод­го­тов­лен­но­го зри­те­ля. На­при­мер, при те­сти­ро­ва­нии ог­не­стой­ко­сти пламя под­во­дит­ся как к по­верх­но­сти, так и непо­сред­ствен­но внутрь кор­пу­са устрой­ства, а в ходе те­стов сей­смо­устой­чи­во­сти ис­поль­зу­ет­ся си­му­ля­тор зем­ле­тря­се­ний, спо­соб­ный со­зда­вать усло­вия, ана­ло­гич­ные под­зем­ным толч­кам маг­ни­ту­дой до 8,2 балла по шкале Рих­те­ра. Для срав­не­ния: 7,9 балла со­ста­ви­ло зна­че­ние маг­ни­ту­ды из­вест­но­го зем­ле­тря­се­ния 1906 года в Сан-Фран­цис­ко, в ре­зуль­та­те ко­то­ро­го по­гиб­ли свыше 3 тыс. человек.

Со­глас­но от­че­там о ла­бо­ра­тор­ных ис­пы­та­ни­ях на со­от­вет­ствие стан­дар­ту NEBS, сер­ве­ры опе­ра­тор­ско­го клас­са в ра­бо­чем ре­жи­ме под­вер­га­ют­ся низ­ко- и вы­со­ко­тем­пе­ра­тур­но­му те­сти­ро­ва­нию (при тем­пе­ра­ту­рах до -40 и +70 °C со­от­вет­ствен­но) в кли­ма­ти­че­ской ка­ме­ре дли­тель­но­стью не менее трех суток, а также те­стам на устой­чи­вость к по­вы­шен­ной влаж­но­сти (до 93%), рез­ким из­ме­не­ни­ям тем­пе­ра­ту­ры окру­жа­ю­щей среды и усло­ви­ям вы­со­ко­го­рья. В ходе те­сти­ро­ва­ния на элек­тро­маг­нит­ную сов­ме­сти­мость им при­хо­дит­ся вы­дер­жи­вать раз­ряд ста­ти­че­ско­го элек­три­че­ства на­пря­же­ни­ем до 15 кВ в воз­душ­ной среде и до 8 кВ — при непо­сред­ствен­ном кон­так­те. При этом раз­ряд не дол­жен вы­зы­вать ка­ких-ли­бо фи­зи­че­ских повреждений.

Тесты на виб­ро­устой­чи­вость, ими­ти­ру­ю­щие транс­пор­ти­ров­ку и офис­ные усло­вия для сер­ве­ров опе­ра­тор­ско­го клас­са, по­ка­зы­ва­ют их спо­соб­ность вы­дер­жи­вать уси­ли­ва­ю­щи­е­ся виб­ра­ции в диа­па­зоне от 5 до 100 Гц по каж­дой из ко­ор­ди­нат­ных осей трех­мер­но­го про­стран­ства в ра­бо­чем ре­жи­ме с из­ме­не­ни­ем ам­пли­ту­ды со­глас­но нор­мам GR-63-CORE (про­дол­жи­тель­ность каж­до­го теста, вклю­ча­ю­ще­го также по­сте­пен­ное умень­ше­ние ча­сто­ты виб­ра­ций об­рат­но от 100 Гц к 5 Гц, со­став­ля­ет 90 минут) и от 5 до 500 Гц в нера­бо­чем, а также — слу­чай­ные виб­ра­ции в диа­па­зоне от 5 до 200 Гц в нера­бо­чем режиме.

Сни­же­ние вибраций

Устой­чи­вость к виб­ра­ци­ям от­но­сит­ся к числу клю­че­вых ха­рак­те­ри­стик на­деж­но­сти ком­пью­тер­но­го обо­ру­до­ва­ния, од­на­ко, как по­ка­зы­ва­ет прак­ти­ка, виб­ра­ции также могут ока­зы­вать за­мет­ное вли­я­ние и на про­из­во­ди­тель­ность в ре­аль­ных усло­ви­ях эксплуатации.

Ос­нов­ны­ми внут­рен­ни­ми ис­точ­ни­ка­ми виб­ра­ции в ком­пью­те­рах яв­ля­ют­ся жест­кие диски и вен­ти­ля­то­ры — ско­рость вра­ще­ния шпин­де­ля у со­вре­мен­ных вы­со­ко­про­из­во­ди­тель­ных сер­вер­ных жест­ких дис­ков со­став­ля­ет 15 тыс. обо­ро­тов в ми­ну­ту, а вен­ти­ля­то­ры могут вра­щать­ся еще быст­рее. Дол­гое время раз­ра­бот­чи­ки сер­ве­ров не об­ра­ща­ли на это осо­бо­го вни­ма­ния — счи­та­лось, что до­ста­точ­но плот­но при­кре­пить вен­ти­ля­то­ры и жест­кие диски к со­от­вет­ству­ю­щим от­се­кам, и даль­ше можно ни о чем не бес­по­ко­ить­ся. Остро­та про­бле­мы на­рас­та­ла по­сте­пен­но — по мере того, как по­вы­ша­лось энер­го­по­треб­ле­ние сер­ве­ров, что, в свою оче­редь, тре­бо­ва­ло все более вы­со­кой ча­сто­ты вра­ще­ния вен­ти­ля­то­ров для их охла­жде­ния, и од­но­вре­мен­но уве­ли­чи­ва­лась плот­ность за­пи­си дан­ных на жест­ких дис­ках, ста­но­вив­ших­ся все более чув­стви­тель­ны­ми к виб­ра­ци­ям. Од­ни­ми из пер­вых, еще в на­ча­ле 2000-х годов, на эту про­бле­му об­ра­ти­ли вни­ма­ние ин­же­не­ры под­раз­де­ле­ния Intel по раз­ра­бот­ке ком­му­ни­ка­ци­он­ных сер­ве­ров, начав ис­сле­до­ва­ния ме­ха­ни­че­ских свойств эла­стич­ных ма­те­ри­а­лов и воз­мож­но­стей по сни­же­нию внут­рен­них виб­ра­ций при их ис­поль­зо­ва­нии для изо­ля­ции вен­ти­ля­то­ров и жест­ких дис­ков от сер­вер­но­го шасси.

В со­вре­мен­ных сер­ве­рах опе­ра­тор­ско­го клас­са изо­ля­ци­он­ные ма­те­ри­а­лы поз­во­ля­ют при необ­хо­ди­мо­сти пол­но­стью осво­бож­дать жест­кие диски и вен­ти­ля­то­ры от кон­так­та с ме­тал­ли­че­ски­ми ча­стя­ми сер­вер­но­го шасси, как бы удер­жи­вая их «на плаву» внут­ри кор­пу­са. Од­на­ко необ­хо­ди­мость в такой пол­ной изо­ля­ции, как по­ка­зы­ва­ют ре­зуль­та­ты ис­сле­до­ва­ний, воз­ни­ка­ет не все­гда. И на­о­бо­рот, из­ме­няя массу струк­ту­ры, ча­стью ко­то­рой яв­ля­ет­ся ис­точ­ник виб­ра­ций, можно до­бить­ся луч­ших ре­зуль­та­тов с точки зре­ния их по­дав­ле­ния. К тому же раз­ные жест­кие диски об­ла­да­ют раз­ной чув­стви­тель­но­стью к тем или иным ча­сто­там виб­ра­ций. По­это­му в каж­дом от­дель­ном слу­чае важен тща­тель­ный под­ход к на­хож­де­нию оп­ти­маль­но­го ба­лан­са между двумя ука­зан­ны­ми ме­то­да­ми, ко­то­рый бы обес­пе­чил наи­луч­шую про­из­во­ди­тель­ность жест­ких дисков.

Не менее важен и пра­виль­ный выбор вен­ти­ля­то­ров, вклю­ча­ю­щий стро­гий кон­троль ба­лан­си­ров­ки ло­па­стей и ка­че­ства под­шип­ни­ков. По мне­нию спе­ци­а­ли­стов, про­из­во­ди­те­лям сер­ве­ров во­об­ще имело бы смысл вы­ра­бо­тать некий об­щео­т­рас­ле­вой стан­дарт про­вер­ки ка­че­ства вен­ти­ля­то­ров и жест­ких дис­ков. Это не толь­ко по­мог­ло бы со­вер­шен­ство­ва­нию ан­ти­виб­ра­ци­он­ных ме­ха­низ­мов, но и в ко­неч­ном итоге ока­за­ло бы бла­го­твор­ное вли­я­ние на про­из­во­ди­тель­ность и на­деж­ность сер­вер­ных ре­ше­ний, пред­ла­га­е­мых пользователям.

Эф­фект от при­ме­не­ния тех­но­ло­гий по­дав­ле­ния виб­ра­ций обыч­но носит ком­плекс­ный ха­рак­тер. Если в си­сте­ме уста­нов­ле­но несколь­ко жест­ких дис­ков, па­да­ет их вза­им­ное виб­ра­ци­он­ное вли­я­ние друг на друга. Более того, сни­жа­ет­ся вли­я­ние виб­ра­ций от внеш­них ис­точ­ни­ков — в част­но­сти, от дру­гих устройств, раз­ме­щен­ных в той же сер­вер­ной стой­ке, а также от уста­нов­лен­ных в зда­нии вен­ти­ля­ци­он­ных си­стем и кондиционеров.

На при­ме­ре ис­сле­до­ва­ния ан­ти­виб­ра­ци­он­ных ме­ха­низ­мов, при­ме­ня­ю­щих­ся в сер­ве­рах Kontron, можно ви­деть, какую поль­зу при­но­сят тех­но­ло­гии по­дав­ле­ния виб­ра­ций в си­ту­а­ци­ях, когда в ре­зуль­та­те по­вы­ше­ния тем­пе­ра­ту­ры внут­ри сер­ве­ра про­ис­хо­дит пе­ре­клю­че­ние вен­ти­ля­то­ров на мак­си­маль­ную ско­рость вра­ще­ния (рис. 1). Без тех­но­ло­гии по­дав­ле­ния виб­ра­ций ско­рость за­пи­си дан­ных на жест­кий диск может па­дать прак­ти­че­ски до нуля, что, в свою оче­редь, может озна­чать недо­ступ­ность на­ко­пи­те­ля для поль­зо­ва­те­лей и даже при­во­дить к си­стем­но­му сбою — если на этом жест­ком диске уста­нов­ле­на сер­вер­ная опе­ра­ци­он­ная си­сте­ма. В то же время на­ли­чие ан­ти­виб­ра­ци­он­ных ме­ха­низ­мов поз­во­ля­ет со­хра­нить про­из­во­ди­тель­ность на при­ем­ле­мом уровне, из­бе­жав се­рьез­ных проблем.