Контакты
Подписка
МЕНЮ
Контакты
Подписка

В рубрику "Решения корпоративного класса" | К списку рубрик  |  К списку авторов  |  К списку публикаций

Дата-центры и точки обмена трафиком: эволюция отношенийDatacenters and Internet Exchanges: relationships evolution

Статья рассказывает об эволюции развития современных дата-центров и сети Интернет, возникновении точек обмена трафиком Интернет, их вкладе в развитие и расширение географии обмена, влиянии Интернет-бизнеса на иерархическую модель отношений в глобальной сети, взаимодополняющем характере взаимодействия дата-центров и точек обмена трафиком.

The article is devoted to the evolution of modern data centers and Internet, occurrence of Internet Exchange Points, its contribution to the development and expansion of exchange geography, Internet impact on a hierarchical model of business relationships in the global network, complementary nature of the interaction between data centers and Internet Exchange Points.

Сергей Киселев
Руководитель проектов развития компании MSK-IX (Москва)
Ключевые слова:
дата-центр; ЦОД; обмен трафиком; Интернет; инфраструктура; связность; эволюция; точка обмена трафиком; нейтральность
Keywords:
data center; DC; traffic exchange; Internet; infrastructure; connectivity; Internet Exchange; evolution; collocation; telehouse; Internet Exchange Points; neutrality

Интернет, как информационная среда общения, развлечений и досуга стала необходимой частью нашего окружения совсем недавно. При этом транспортная составляющая Глобальной сети существовала еще с конца 60-х гг. ХХ в., постепенно трансформируясь из технического средства обмена информацией между компьютерами в универсальное средство доступа к информации, развлечениям и коммуникации, замещая по пути такие традиционные средства связи, как телеграф, почту и фиксированный телефон.

Сегодня, когда Интернет является уже неотъемлемым атрибутом нашей жизни, сеть еще не всегда сопоставима по качеству и надежности с традиционными проводными услугами (что не мешает российским компаниям, конкурирующим с глобальными сервис-провайдерами, время от времени вносить предложения о запрете того или иного иностранного сервиса), но время идет, разнообразие и качество услуг в Интернете растет, они конкурируют между собой и в результате конкурентной борьбы за пользователя, в том числе и со стороны провайдеров, растет качество услуг и расширяется круг их пользователей.

Цифровая недвижимость

Развитие Интернета и IT стимулировало рост производительности и энергоемкости вычислительного и телекоммуникационного оборудования. Рост требований бизнеса и пользователей к качеству и надежности работы электронных услуг и развлечений привел к возникновению нового направления в сфере недвижимости – цифровому: это специализированные здания/помещения в них, служащие для размещения корпоративных и публичных дата-центров (ДЦ).

И если первыми ЦОД (в 90-х гг. прошлого века) были переоборудованные офисные помещения (начав свое существование с отгородок-серверных) под размещение телефонных станций, серверов/ПК и разнообразных вычислительных систем типа IBM AS/400, Sun SPARC и т.п., то профессиональные дата-центры появились в начале 2000-х на пике инвестиционного бума интернет-сервисов и ресурсов, которые вскоре превратились в отдельное новое и быстро растущее направление бизнеса, ставшее заметным широкой публике на фоне глобализации и развития облачных технологий.

Причинами быстрого развития цифровой недвижимости стали рост энергоемкости (от единиц до десятков кВт) и массы вычислительного и коммутационнного оборудования, а также необходимость обеспечить постоянные электроснабжение и отвод тепла. Для примера, в применявшихся в 90-х гг. ХХ в. торговых системах типа IBM AS/400 рестарт системы после незапланированной остановки требовал часа и более. Не у всех тогда были ИБП и не все покупатели были готовы ожидать по часу и более того момента, когда им выпишут документы и отпустят товар.

Первоначально сетевые требования были минимальны – оборудование старались разместить в непосредственной близости от пользователей и коммуникация осуществлялась по (корпоративной) локальной сети (на начальном этапе 10/100 Мбит/с, в дальнейшем 1 и 10 Гбит/с).

Парки серверов и хранилища росли в объеме, оборудование становилось все более емким и по массе, и по энергопотреблению. В результате стали заканчиваться возможности обычных офисных помещений под растущие нужды корпоративных ЦОД: требования по нагрузке на пол, электрической мощности и прочее переоборудование стали настолько затратны, что приблизились по стоимости к цене строительства отдельных зданий под эти цели.

Первопроходцы

Одними из первых этот тренд подхватили провайдеры услуг связи, которые быстро сообразили, что свободные площади в своих аппаратных, зачастую имеющие свободную электронную мощность, бесперебойные питание и охлаждение, можно сдавать крупным корпоративным заказчикам, получая дополнительный доход от их аренды и каналов связи до них. При этом их собственные потребности были гораздо скромнее: типовое потребление из расчета 2–3 кВт на стойку и температура до 30 °С.

Одним из первых такой шаг сделал "Совинтел", предложивший корпоративным клиентам услугу размещения. Но потребности клиентов росли, собственные ресурсы операторов, не рассчитанные на такой рост спроса быстро исчерпались.

Самостоятельное строительство ДЦ, как бизнес, для крупных операторов оказалось очень капиталоемким и непрофильным (другие деньги, сроки и риски). Исключение составила "Синтерра" со своим проектом 40х40 во второй половине 2000-х. Но, как в процессе реализации этого проекта выяснилось, весьма важными факторами успеха любого ДЦ являются расположение и его (телекоммуникационная) нейтральность.

Крупные российские системные интеграторы, такие как IBS, "Крок", "Ай-Теко", "Инлайн" и др., отметились своими проектами по строительству ЦОД. Появились и иностранные проекты, такие как DataSpace и IXcellerate, построенные сертифицированными специалистами и получившие реальные сертификаты Tier 3.

Не обошлось без интернет-проектов. Те, кто успешно стартовал и быстро рос, постепенно обросли серверным парком в тысячи серверов. Первоначально места в своих ЦОД было достаточно, но темпы роста и масштабы бизнеса потребовали расширения и размещения ресурсов по разным площадкам для обеспечения их бесперебойной работы.

Сеть Интернет

Ситуация с глобальной сетью Интернет тоже не стояла на месте. Возникнув однажды отдельным сегментом военной сети ARPANET, затем превратившись в научную сеть NSFNET, соединяющую университеты и научные учреждения США, с момента коммерциализации она быстро развивалась, расширяя географию. При этом центр Интернета оставался в США. Там находились сети наивысшего ранга (по-англ. Tier 1), каждая из которых (AGIS, MCI, PSINet, Sprint, UUnet), находясь на вершине иерархии, получала доступ ко всей сети (то есть к другим сетям наивысшего ранга и их клиентам) за счет обмена трафиком на безвозмездной основе с другими такими сетями.

К 1995 г. и в России, и в крупных европейских странах было уже по нескольку крупных сетей (научных и частных), конкурирующих между собой на национальном рынке, но покупающих услуги доступа к остальной части Интернета за границей. Каналы стоили дорого, объем трафика и расходы на его обслуживание стремительно росли. Чтобы сократить затраты на обмен национальным трафиком за границей, ставшими к тому времени заметной величиной (за счет расходов на каналы и инфраструктуру), крупные научные сети и провайдеры объединились для создания локальных точек обмена трафиком в телеком-столицах своих стран.

Так в 1995 г. возникли следующие европейские точки обмена трафиком:

  • AMS-IX, Амстердам;
  • DE-CIX, Франкфурт;
  • LINX, Лондон;
  • MSK-IX, Москва;
  • Netnod, Стокгольм.

Первоначально объемы трафика и число участников были небольшими: до десятка сетей и несколько Мбит/с.

Принципиальным моментом в создании таких точек обмена трафиком была их нейтральность, так как все тем или иным образом конкурировали друг с другом и хотели быть равноправными участниками обмена.

Интернет стремительно развивался, объемы трафика и число сетей росли. Постепенно, помимо электронной почты и пересылки информации между компьютерами в сети (называвшимися тогда "хостами", от англ. host), на использование сети стали постепенно переходить различные корпоративные информационные системы, использующие обмен данными в реальном времени для работы таких задач, как бухгалтерия и продажи (в начале 2000-х это были простые текстовые терминалы, нетребовательные к скорости).

Развитие интернет-сервисов, контента и сетевых игр как потребителей доступа в Интернет потребовало от операторов (интернет-провайдеров, от англ. Internet service provider, или ISP) обеспечения доступа в Интернет не только для них, но и их пользователей, зачастую подключенных к другим операторам, с тем чтобы обеспечить комфорт использования, что оказалось сделать практически невозможно независимо от масштаба и амбиций провайдера, так как Интернет представляет собой связанную совокупность отдельных сетей, каждая из которых автономна, то есть сама решает, как передавать данные пользователей и других сетей и как и где взаимодействовать с другими сетями-участниками. В результате данные на пути от интернет-сервиса к пользователю и обратно (так называемый трафик) могут задерживаться и теряться (в том числе частично) в Интернете – это как раз та задача, которая частично будет решена при помощи технологий программно управляемых (определяемых) сетей (от англ. software defined network, или SDN).

Автономные сети

Решением для интернет-бизнесов стал переход на свои автономные сети – подсети глобальной сети, каждая из которых обладает уникальным номером автономной системы (от англ. autonomous system number, или ASN) и самостоятельно решает вопросы взаимодействия с другими сетями и передачи трафика. Причем в отличие от сетей провайдеров сети интернет-бизнесов могут быть территориально распределенными, как, например, сети доставки контента (от англ. content delivery network, или CDN) и облачных сервисов (как пример, компании Google).

Только возникнув, сети интернет-сервисов и контента сразу приняли открытую пиринговую политику (со всеми и везде, где технически возможно, не глядя на иерархию). Таким образом они решали проблему доставки своих данных и контента до конечного пользователя (пиринг – это прямое взаимодействие сетей с минимальными задержками и потерями, а отсутствие денежных расчетов позволяет сторонам не экономить на объеме взаимодействия).

Бурный рост сетей интернет-бизнесов и их открытая политика взаимодействия со всеми остальными сетями привели к тому, что со второй половины 2000-х в сети Интернет начались структурные изменения, затрагивающие основной принцип ее построения – ее иерархичность (сети первого уровня – Tier 1 , второго – Tier 2 и т.д.).

И здесь важную роль сыграли точки обмена трафиком, чьи технические площадки являются местом взаимодействия большого числа разнообразных сетей (практически сетевыми аэропортами, как считает AMS-IX). У крупных точек обмена трафиком число сетей – участников обмена доходит до многих сотен: от московской MSK-IX с 374 сетями-участниками до 601 в амстердамской AMS-IX.

Объединяя участников своей высокоскоростной территориально распределенной локальной сетью обмена трафиком, они обеспечивают многосторонний прямой обмен трафиком между всеми участвующими сетями одновременно. При этом каждый из участников минимизирует число используемых портов своего оборудования, соединительных линий и других ресурсов, которые бы пришлось затратить на организацию и обслуживание индивидуальных соединительных линий между отдельными сетями (чтобы объединить N=100 сетей потребуется N*(N-1)/2 = 4950 соединительных линий (СЛ) или практически по 50 линий на одного участника), что с учетом тарифов современных крупных ДЦ, берущих ежемесячную плату (до $200–300) за каждую, дает существенную экономию, а для удаленных участников таких точек обмена (тех, чьи сети находятся в других регионах), точки обмена трафиком помогают решить еще и вопросы по логистике, размещению и подключению оборудования для организации обмена.

За последние несколько лет число точек обмена интернет-трафиком резко выросло, что отражает общую тенденцию в мире на расширение географии доступности сети и роста скорости доступа к ней у пользователей. Наша страна, хоть и не показывает каких-либо выдающихся результатов по относительным цифрам, занимая лишь 41-е место в Европе с 48% населения, которое пользуетcя Интернетом со средней скоростью доступа 6 Мбит/с, при этом только 12% пользователей имеют доступ на скорости свыше 10 Мбит/с, что с учетом огромной территории и протяженности страны с запада на восток, разнообразия климатических условий и невысокой плотности населения уже само по себе является достаточным прогрессом с самой большой по размеру интернет-аудиторией в Европе.

В дополнение к вышесказанному, точка обмена трафиком, являясь существенным элементом инфраструктуры Интернета, стала местом концентрации сетевых ресурсов, таких как разнообразные сети, корневые DNS-сервера, различные сервисные платформы (GRX, eNum, VoIP обмен), частные и публичные облачные сервис-провайдеры, что не в последнюю очередь влияет на популярность тех или иных ДЦ.

Как пользователь ДЦ, точка обмена трафиком представляет собой небольшого арендатора, занимающего до нескольких стоек и имеющего большое число соединительных линий, расходящихся как к участникам обмена, расположенным в этом ДЦ, так и к внешним линиям связи для соединения с другими узлами и удаленно подключающимися участниками обмена.

Узлы сети точки обмена трафиком строятся на оборудовании L2 (интеллектуальный коммутатор)/L3 (маршрутизатор VPLS) с большой пропускной способностью (от единиц до десятков терабит трафика в секунду) и расширенным функционалом контроля профиля трафика каждого порта подключения для обеспечения надежной и бесперебойной работы всех участников обмена и безопасности их сетей.

Интернет-ЦОД

Современный успешный интернет-ЦОД практически немыслим без точки обмена трафиком как существенного элемента инфраструктуры сети Интернет. Примеров тому множество: и отечественная ММТС-9 с MSK-IX, и Interxion Frankfurt с DE-CIX, и Equinix с собственной распределенной платформой виртуальной коммутации. Сервисы Дата-центров и точек обмена трафиком взаимно дополняются и структурируются по следующим параметрам:

  • инфраструктура: качественная и надежная инфраструктура ДЦ позволяет его пользователям размещать в нем свои критичные для бизнеса сервисные и вычислительные мощности, хранилища данных и сетевые узлы, обеспечивая их интеграцию с другими узлами и взаимодействие с бизнес-партнерами и операторами, обеспечивая высочайший уровень надежности и качества своих услуг и сервисов;
  • связность: наличие широкого спектра операторов, разнообразие их услуг и конкурентный уровень цен не в последнюю очередь влияют на выбор дата-центра при принятии решения о размещении. В случае с операторами наличие точки обмена трафиком стимулирует последних к размещению в ДЦ не простого клиентского узла, а сетевого, который имеет резерв и по сети, и по объему трафика, что положительно сказывается как на качестве услуг, так и на возможности и сроках их расширения;
  • нейтральность: при современном разнообразии потенциальных участников точки обмена трафиком и пользователей дата-центров (операторы, интернет-бизнесы, банки и финансы, к орпорац ии) принципиально важными для каждого из них являются единые высокие стандарты сервиса, выражающиеся в серьезных обязательствах по надежности и качеству услуг (по-англ. service level agreement, или SLA), и недискриминационный доступ к услугам и инфраструктуре, построенный на понятных и прозрачных принципах;
  • притяжение. Как и ДЦ, привлекательность точки обмена трафиком тем больше, чем больше у нее участников, шире и разнообразнее их спектр и масштаб деятельности.

Таким образом, дата-центры и точки обмена трафиком представляют собой пример взаимодополняющего и взаимовыгодного сотрудничества двух таких разных элементов современной цифровой и сетевой инфраструктуры.

Литература

  1. Проникновение Интернета по состоянию на середину 2012 г. – URL: http://www.internetworldstats.com.
  2. Состояние Интернета, I квартал 2013 г. Отчет "Акамай Технолоджис".

Опубликовано: Журнал "Технологии и средства связи" #4, 2013
Посещений: 8866

Статьи по теме

  Автор

Сергей Киселев

Сергей Киселев

Руководитель проектов развития компании MSK-IX (Москва)

Всего статей:  1

В рубрику "Решения корпоративного класса" | К списку рубрик  |  К списку авторов  |  К списку публикаций