Новые технологии в Интернете и проблема "сетевого нейтралитета"

Как справиться с перегруженностью операторских сетей? Новые стратегии операторов и технологии их осуществления

Интернет изменился у нас на глазах: набралась сил концепция Web 2.0, постоянно увеличивается емкость каналов провайдеров, бурными темпами растет потребление трафика, а его структура практически в мгновение ока трансформировалась с резким смещением в мультимедиа и P2P (Peer-To-Peer, трафик одноранговых (пиринговых) сетей, в которых каждый узел может одновременно выступать как в роли получателя, так и поставщика информации). Нагрузка на сеть в текущем году выросла взрывообразно: использование в пиринговых сетях µTorrent и протокола UDP (User Datagram Protocol — протокол пользовательских датаграмм, транспортный протокол для передачи данных в сетях IP без установления соединения) практически уничтожило возможности контролировать трафик и управлять пропускной способностью канала (шейпинг), которыми пользовались до сих пор операторы. Применение UDP и новых “изощренных” методов установления соединений в P2P-сетях привело к практически мгновенному двух-трёхкратному увеличению количества пакетов в магистральных сетях операторов. В эту “дыру” сегодня начинают проваливаться все их планы по развитию сетей, и из-за нее возникает опасность повсеместной перегрузки Интернета.

В таких условиях операторы, которые еще вчера не задумывались об анализе проходящего через их сеть трафика, вынуждены обратить внимание на решения DPI (Deep Packet Inspection) и управления трафиком для каждого приложения отдельно.

Особенно интересно, что эта проблема коснулась не только провайдеров широкополосного доступа в Интернет, но и операторов мобильной связи. Появление мобильных сетей передачи данных также изменило картину рынка, их доля начинает расти, и именно в этих сетях наиболее заметны процессы, меняющие подход провайдеров к оказанию услуг.

Интернет меняется

Оператор Softbank Mobile Japan недавно объявил, что по результатам I квартала 2010 г. сервисы по передаче данных впервые принесли больше дохода, чем голосовой трафик. Во втором полугодии подобного результата ожидает NTT DoCoMo. Японцы, как всегда, в сфере мобильной связи опережают всех, но и в некоторых других странах доля дохода от передачи данных мобильных операторов уже в 2011-м превысит 50% от общего дохода. В США, например, рынок услуг по передаче данных в мобильных сетях, по сведениям Chetah Sharma Consulting, составляет примерно 50 млрд. долл.. Кроме того, Chetah Sharma утверждает, что к концу нынешнего года уровень проникновения мобильной связи в США превысит 94%. Этот рост не может быть связан с новыми пользователями голосовых услуг, а обеспечен абонентами, которые посчитали более выгодным и удобным воспользоваться новыми мобильными услугами передачи данных. Причем цены таких услуг в США сравнимы с ценой услуг традиционных операторов.

Согласно исследованиям западных аналитиков, HTTP-браузер остается наиболее популярным приложением: рост потребляемого им трафика составляет 21% в год, а наиболее быстрорастущим является потребление трафика приложениями класса потокового вещания видео (стриминг) через HTTP (типа YouTube) — 58% роста. Загрузка файлов через HTTP также быстро увеличивается (34% ежегодного роста) и стала почти также популярной, как и P2P, а в регионе EMEA даже более популярной, чем использование приложений peer-to-peer. Причем P2P занимает 21% полосы пропускания в среднем по миру (42% — в наиболее загруженных сетях), и, что интересно, этот трафик начинает доминировать в мобильных сетях. Как показали недавние исследования, даже при организации доступа в сеть через GPRS, на эту технологию приходится примерно 20% трафика, что еще пару лет назад показалось бы совершенно невероятным.

Отметим, что именно в сетях операторов мобильной связи изменения происходят наиболее быстро. Развитие широкополосного мобильного доступа усугубляет проблему контроля трафика пользователей. А за изменением Интернета, вероятно, последует и изменение правил его использования.

Быстрый рост P2P- и видеотрафика и его преобладание в сетях передачи данных заставили операторов пересмотреть свои тарифные планы. Популярный в среде операторов фиксированной связи подход типа “Всё, что вы сможете съесть” оказался не очень подходящим для бизнеса мобильных и беспроводных операторов, особенно в условиях, когда скорость доступа начинает резко возрастать, а структура трафика оказывается не такой, как они ожидали. Именно поэтому они постепенно уходят от безлимитных тарифов. Их сменяют тарифные планы со скользящей ставкой, т. е. делаются различные предложения для людей с разными потребностями. Но давайте задумаемся, чего этим можно добиться. Такие тарифные планы должны либо давать потребителю какой-то стимул, либо страховать прибыль, либо обеспечивать и то и другое. Это очередное заблуждение операторов, будто можно контролировать потенциальные потери с помощью мелких поборов и ограничений. Все это добавляет сложности в систему обслуживания и тарификации, возникает недовольство пользователей (даже если они и не упираются в эти ограничения), и вот опять мобильные операторы возвращаются в ситуацию, когда они не могут конкурировать с операторами фиксированной связи.

Кроме того, появляются и новые факторы, которые “добавляют перца в суп”. Больше, правда, пока не в России, но, как показывает опыт, изменения до нас докатываются довольно быстро. Например, в США, где мобильные сети уже испытывают проблемы с емкостью, операторы с опаской ожидают, что случится, когда компания Apple добавит поддержку многозадачности в свою операционную систему для iPhone и iPod, что должно произойти уже в ближайшем будущем. Многозадачность означает возможность использования сразу нескольких приложений. Как заявил представитель одной компании-провайдера в США: “Меня просто пугает многозадачность в iPhone — люди собираются запускать одновременно два-три приложения в сетях, которые не приспособлены для этого”. Уже сегодня в больших американских городах огромное количество смартфонов постоянно “стучатся” в беспроводные сети, вызывая интерференцию и “пробки”. Причем, как известно, в этой стране продавцы устройств типа iPhone сегодня продают больше подписок на услуги передачи данных, чем провайдеры с их разнообразными тарифными планами.

Аналогичные проблемы добавляются и облачными приложениями, которые все чаще применяют пользователи.

С этими же проблемами стали сталкиваться и операторы фиксированной связи, до сих пор с успехом использовавшие безлимитные тарифы во всем мире. Изменилась структура трафика, изменились и правила игры, причем изменили их сами пользователи, а операторы оказались к этому недостаточно готовы. Растёт доля асимметричного трафика: раньше она составляла примерно 10% от общего объема, теперь превышает 40%. Сейчас меньшее значение имеет, какой шириной полосы ты обладаешь, гораздо важнее качество этой полосы. Вопрос балансировки трафика приобретает все большее значение, и практически все операторы в настоящее время вынуждены иметь не один-два внешних канала как раньше, а три-четыре. Операторы испытывают проблемы с контролем трафика, который все в большем объеме генерирует Skype и подобные ему приложения, не привязанные к какому-то определенному порту. Масштабное применение peer-to-peer нового поколения, когда приложения могут использовать практически любые порты и даже время от времени менять их, когда трафик, поддерживающий UDP-протокол, начинает захлестывать каналы операторов, вызывая необходимость использования новых технологий, позволяющих каким-то образом контролировать эти потоки. Современный Интернет требует от операторов изменить привычки “ленивого удава”, процеживающего через себя гигантский трафик и получающего достаточную для благоденствия прибыль, и поворачиваться быстрее, меняя стратегию постоянного наращивания мускулов на стратегию более эффективного использования уже имеющихся мощностей.

Стратегии операторов

Сегодня операторы вынуждены разрабатывать новую стратегию ухода от модели простой “трубы”. Думают об этом все, а большая часть операторов уже начинает действовать: рассматриваются новые модели оказания услуг и планы ценообразования, тестируются технологии контроля сети, трафика, сетевых приложений и пользователей. И происходит это во всем мире, в том числе и в России.

Среди новых моделей оказания услуг рассматривается, например, дифференциация пользователей по доступу к сети, основная цель которой — установить контроль за “тяжелыми” пользователями (теми, кто активно применяет торренты, постоянно скачивает большие файлы, мешая другим пользователям) и оградить от них свою сеть путем честного перераспределения ресурсов канала. У многих операторов, особенно “фиксированных”, уже сложилась такая ситуация, когда 5% активных пользователей потребляют 90% всего трафика в сети. Другой путь -- разделять доступ по пользователям и приложениям за счет персонализации сервисов (дифференцируемый QoS), когда меняется стоимость в зависимости от направления или качество услуг в зависимости от приложения и тарифного плана. То есть тот, кто за мегабайт платит больше, получает более высококачественные услуги, а тот, кто меньше, должен обходиться худшим качеством. Подобную возможность, например, недавно тестировала компания “Мегафон”.

TeliaSonera также рассматривает новую систему ценообразования в мобильных сетях, основанную на различном подходе при потреблении разных сервисов. Новая модель рассматривает вариант включения стоимости потребляемого абонентом контента по его типам в конечную цену услуги. То есть оплачивается не только трафик, но и сам контент, причем по-разному, в зависимости от его типа.

Большой шум поднялся в США вокруг обсуждения так называемого пакта Verizon — Google, в котором компании попытались разработать предложения, призванные, с одной стороны, обеспечить открытость Интернета, что всегда пропагандировала Google, а с другой, создать условия для быстрого развития широкополосного доступа к нему, где назревают трудности с предоставлением качественных услуг. Иными словами, они стремились преодолеть те проблемы, которые стали мешать развитию сетей, не нарушив при этом “сетевой нейтралитет”. Ряд опубликованных предложений вызвал значительную критику. Некоторые даже назвали этот документ “договором о конце Интернета, каким мы его знаем сегодня”. Много обсуждался, в частности, пункт, где предлагается снять ограничения с беспроводных сетей, поскольку этот вид доступа только развивается, а также пункт о дополнительных сервисах, который и предполагает дать операторам возможность менять стратегию оказания услуг. Согласно правилам, предложенным Google и Verizon, интернет-провайдеры, по мнению критиков, будут освобождены от соблюдения принципа сетевого нейтралитета для некоторых видов сетевого трафика. Вообще проблема “сетевого нейтралитета” — это один из ключевых факторов, которые мешают операторам на Западе разрабатывать новые стратегии оказания услуг, и мы вернемся к этой проблеме ниже.

Методология решения проблем операторов

Стремительный рост потребления трафика и использования для его передачи широкополосных мобильных сетей, высокий уровень конкуренции, необходимость для операторов адаптировать свои бизнес-модели к изменившемуся сетевому трафику, оптимизировать существующую инфраструктуру сети -- всё это стало катализатором рынка систем визуализации сетевого трафика, его глубокого анализа и управления политиками сетей, в частности систем класса DPI.

Рост запросов со стороны операторов связи привел к появлению на рынке широкого спектра решений в области DPI, решающих те или иные задачи. Изначально технологии DPI получили применение в системах обнаружения вторжений (Intrusion Detection Systems, IDS) и в последующем продолжили развитие в системах их предотвращения (Intrusion Prevention Systems, IPS). Сегодня DPI может, например, обеспечивать оптимизацию нагрузки, создаваемой такими приложениями, как torrent, и контроль трафика на уровне магистральных провайдеров, что, как правило, решает задачи управления доступом к тем или иным ресурсам.

Современные технологии DPI позволяют с большой точностью идентифицировать широкий спектр сетевых приложений и тем самым реализовать дополнительную дифференциацию сервисов, предоставляемых пользователям. Появились возможности контроля сессий каждого абонента, визуализации трафика на уровне приложений и конкретных пользователей, привязки профиля трафика к соответствующему тарифному плану.

Представьте себе устройство, которое находится в сети оператора связи и сужает или расширяет канал для P2P-трафика в зависимости от времени суток, не затрагивая трафик других приложений. Устройство, которое позволяет одному пользователю иметь доступ только к e-mail и Web, а другому, выбравшему более высокий тариф, – работать с VoIP и BitTorrent. Наконец, устройство, которое защищает сеть от DDoS-атак (distributed denial of service), осуществляет антивирусное сканирование, блокирует спам и вредоносное ПО, а также анализирует запрошенный пользователями трафик на соответствие законам или отраслевым регулирующим документам. И все это делается в реальном времени одновременно для миллионов пользователей. Именно такими возможностями обладает сетевое устройство класса DPI нового поколения.

При этом глубина анализа сетевых пакетов такова, что устройство не просто смотрит на заголовки пакетов, проходящих через него, а идет дальше информации об IP или TCP, анализируя содержимое пакетов и сценарии установления соединений. Современное устройство DPI использует интеллектуальную идентификацию потоков (flow), что позволяет идентифицировать трафик приложений типа P2P, которые могут использовать любые порты и избегать стоящих на определенных портах брандмауэров и систем управления трафиком.

DPI-устройство нового поколения не только обнаруживает протоколы, но и “понимает” их поведение, узнает их даже тогда, когда они маскируют себя -- например, когда видео- или P2P-трафик передается поверх либо вместо HTTP.

Кроме того, DPI — это полная сетевая картина за счет информированности обо всех устройствах и пользователях с их расположением в сети, что предоставляет новые возможности для определения “узких мест” и планирования емкости и ввода новых услуг. Только зная, кто пользователи, где они находятся, с какими приложениями работают, какие устройства у них установлены, можно соответствовать их нынешним и будущим потребностям. Сегодня DPI-системы используются операторами для решения проблем с “тяжелыми” абонентами, для создания возможности “честного Интернета”, т. е. защиты от нелегального копирования и ограничения канала у пользователей, которые перетягивают “одеяло” ширины канала на себя и тем самым мешают другим. Подобные системы позволяют решать давно назревшие задачи индивидуального управления качеством трафика, используя, например, каналы разного качества в зависимости от того уровня сервиса, который был гарантирован подписчику.

В настоящее время операторы используют DPI-системы в основном для четырех целей: анализ трафика, управление сетевыми “пробками”, защита сети, создание различных услуг для клиентов. Поскольку DPI обеспечивают значительно более глубокий просмотр потоков данных на предмет содержащихся в них потенциальных угроз, эти устройства вполне могут заменять обычные сетевые брандмауэры в операторских сетях. Кроме того, DPI можно использовать для анализа работы абонентов и приложений, для управления полосой пропускания, контроля квот потребления и биллинга на его основе.

Внедрение DPI -- не самое дешевое дело, предполагающее серьезные инвестиции со стороны оператора. В зависимости от типа решения и сети, а также от принципов лицензирования стоимость DPI составляет от 50 тыс. до нескольких сотен тысяч долларов (данные для американского рынка).

Насколько адекватно DPI анализирует трафик в сети?

Несмотря на очень широкие возможности, устройства класса DPI не могут раскодировать зашифрованные данные, да такая задача никогда и не ставилась. Хотя они могут идентифицировать и классифицировать эти данные, основываясь на эвристической информации типа последовательности пакетов, их размера и других общих шаблонов, а также на анализе поведения, как это делают системы третьего поколения. Например, решение может совершенно адекватно идентифицировать зашифрованный трафик BitTorrent, хотя и не определит, какой именно файл передается.

DPI-система третьего поколения может контролировать весь трафик, проходящий через сеть, и располагаться в любом месте топологической схемы сети, но при этом и она имеет свои “слепые пятна”. Например, сетевая архитектура типа кабельного DOCSIS позволяет пользователям напрямую связываться друг с другом через сеть доступа, и их трафик не проходит через DPI. Некоторые провайдеры имеют отдельные наложенные сети для определенных услуг типа VoIP, трафик которых также может миновать DPI.

Использование DPI — это отказ провайдеров от “сетевого нейтралитета”?

Использование DPI похоже на обоюдоострый меч. С одной стороны, технология обеспечивает точный контроль потоков данных в сети, расширяет возможности сетевой безопасности, позволяет приоритизировать услуги или создавать новые. С другой стороны, она способна блокировать определенные данные, которые считаются нежелательными, или даже модифицировать их с целью цензуры, мониторинга соблюдения авторских прав, а также маркетинга и рекламы. Может ли повсеместное использование этой технологии повлиять на соблюдение принципа “сетевого нейтралитета”? И что же такое этот самый “сетевой нейтралитет”?

Фундаментальный принцип “сетевого нейтралитета” заключается в том, что весь контент считается равным и дискриминация против отдельных пользователей или видов трафика строго запрещена. “Сетевой нейтралитет” не дозволяет провайдерам ускорять или замедлять передачу веб-контента, основываясь на информации об его источнике, собственнике или назначении.

На самом деле равные права доступа к Сети и дифференцируемость сервисов не противоречат друг другу. Даже, например, желание операторов ограничить ширину канала для определенных потребителей при определенных условиях может означать вовсе не желание больше заработать на предоставлении услуг и поднять тарифные ставки, а стремление предоставить равные условия другим потребителям, которых перестаёт удовлетворять качество из-за того, что кто-то другой потребил почти всю полосу пропускания. Возможно, имеет все-таки смысл рассмотреть возможность предоставления более высокого приоритета электронной почте и сетевым бизнес-приложениям по сравнению со скачиванием файлов через пиринговые сети? Использование DPI будет продолжаться, и эти решения не являются оружием провайдеров против своих клиентов.

Актуальность внедрения систем DPI

DPI — это не средство борьбы с P2P и не бомба под “сетевой нейтралитет”, а очень полезный инструмент для операторов связи. Если систему DPI интегрировать в единое целое с сервером сетевых политик, биллингом и механизмом управления качеством сервиса, то это решение может принципиально изменить методику управления сетевым трафиком и его защиты, а также принципы пакетирования и предоставления услуг. И, что более важно для операторов, эта технология предоставляет им новые возможности монетизации трафика в своих сетях. Системы DPI позволяют операторам вступить в новую эру, когда групповые тарифные планы уступают свое место многочисленным более индивидуализированным пакетам наподобие того, как уже работают операторы мобильной телефонной связи.

Сегодня DPI используется не только и не сколько для контроля P2P-трафика, как пропагандировалась еще пару лет назад, когда начался обвальный рост трафика в пиринговых сетях. Уже появились DPI-устройства второго и даже третьего поколения, и использование этих продуктов стало намного сложнее и масштабнее.

В настоящее время наиболее востребованным для операторов стало обеспечение видимости. Им нужно видеть, например, какой трафик проходит через сеть, чтобы на раннем этапе фиксировать те изменения в поведении пользователя, которые могут стать неприятным сюрпризом для бизнеса. Системы DPI могут использоваться как инструмент статистического анализа и верификации маркетинговых проектов, которые осуществляют операторы или их клиенты. Опираясь на информацию о поведении сети, ее приложений и пользователей, операторы могут принимать обоснованные решения об изменении своего бизнеса. Скажем, о внедрении новых сервисов, таких же, как у конкурентов или смежных бизнесов, вместо того чтобы конкурировать с ними на старой основе. Они могут посмотреть, какую прибыль приносят оплачиваемые услуги по сравнению с аналогичными бесплатными, которые уже появились в Сети, определить, как влияют на сеть новые приложения, а также запланировать инвестиции, необходимые для оказания новых услуг. Пришло время, когда сеть необходимо контролировать уже на уровне отдельных абонентов, отдельных устройств доступа в совокупности с контролем приложений, которые эти абоненты и устройства используют в каждый момент времени.

Более того, системы DPI сегодня необходимы и для обеспечения “сетевого нейтралитета”. Прозрачность — это краеугольный камень “сетевого нейтралитета”, и DPI предоставляет средства, которые могут продемонстрировать прозрачность услуг оператора, уровень его сервиса на базе строгого соблюдения политик и правил Интернета.

Краткая справка о рынке DPI

Согласно данным Heavy Reading Research, объем рынка DPI в 2010 г. составлял примерно 500 млн. долл., что на 25% больше, чем в 2009 году, и предполагается, что в 2014 г. он превысит 1 млрд. долл.

Статьи по теме

Капитан грузового судна, или Как начать использовать Docker в своих проектах

Рассказываем, что такое Docker, как его использовать, а также пробежимся по сильным сторонам, терминологии и установке инструмента. Docker я...

2024-11-26

Что такое сторителлинг: техники и примеры

Разберем работающие техники сторителлинга: Путь героя, Сила конфликта, Мономиф, Спарклайны, Гора, Фальстарт и Рамка или «Лепестки»...

2024-07-24

Виджеты для веб-сайтов: влияние кнопок на продажи

Виджеты для веб-сайтов: влияние кнопок на продажи Виджеты, размещаемые на интернет-ресурсах, − это специальные приложения, которые пом...

2020-11-30

CRM: что это и как помогает бизнесу?

CRM: что это и как помогает бизнесу? Представители бизнеса − независимо от его направленности − сталкиваются с необходимостью взаимоде...

2020-11-30

Картинки на сайте: как правильно работать с атрибутами Alt и Title

Современные сайты в обязательном порядке содержат десятки, а то и сотни картинок, особенно их количество велико, если речь идёт об интер�...

2018-03-27

Доменные имена: всё, что о них нужно знать

Важным моментом при создании интернет-сайта является выбор доменного имени. Несмотря на внушительную практику работы с доменами, в проц...

2018-03-21

Яндекс.Вебмастер: как с ним работать?

Яндекс.Вебмастер − это специальный сервис, который открывает массу возможностей для специалистов по работе с сайтами. Помимо функциона...

2017-12-12

Разработка сайта для муниципальной организации в Хабаровске

Благодаря собственному сайту появляется прекрасная возможность для двустороннего общения с клиентами. Такая форма общения значитель�...

2016-11-30

Домен второго уровня: для чего он нужен?

  Домен или доменное имя по сути представляет собой буквенную последовательность, которая обозначает имя интернет-ресурса. Также в до�...

2016-11-22

Форма обратной связи на сайте: значение и виды

  Одной из функций сайта является его общение с посетителями. Делать это ресурс может с помощью форм обратной связи. Если таковая на пл�...

2016-10-28

Вебвизор: для чего он нужен и как его получить?

Для того, чтобы увеличить посещаемость сайта, владельцы ресурса должны предпринимать ряд действий. Одно из них − взгляд на страницы со ...

2016-10-19

Контент-анализ: в поиске релевантных страниц

  Специалисты, которые занимаются продвижением сайтов по большому количеству запросов, сталкиваются с такой проблемой, как определен�...

2016-08-30

Как выбрать исполнителя для создания сайта?

  Рано или поздно перед руководителем практически каждой компании встаёт вопрос создания сайта. Вариант с самостоятельными попытками...

2016-08-17

Битые ссылки: что это и как от них избавиться?

  Одной из бед сайтов являются битые ссылки. Что они собой представляют? Линки, которые ведут на несуществующую страницу. В этом случае ...

2016-08-10

Особенности подбора ключевых слов для SEO-текстов

  Для успешного продвижения сайта его необходимо наполнять SEO-оптимизированными текстами. Их основное отличие от обычных информацион�...

2016-07-06