Программа управления кластерами утраивает эффективность дата-центров
Инженеры из Стэнфордского университета разработали программное обеспечение Quazar, которое за счет более интеллектуального распределения нагрузки между серверами способно втрое увеличить эффективность работы серверов в дата-центрах. Описание программы с результатами нагрузочного тестирования в EC2 авторы представили 1 марта на международной конференции ASPLOS 2014 по архитектурной поддержке языков программирования и операционных систем: “Quasar: Resource-Efficient and QoS-Aware Cluster Management” (зеркало).
Основная проблема дата-центров в том, что в серверы загружены, в среднем, на 20%. Дата-центры вынуждены резервировать мощности, чтобы выполнить свои обязательства перед клиентами в периоды максимальной нагрузки их приложений. А клиенты резервируют мощности по максимуму, самостоятельно делая предположения, сколько понадобится CPU, RAM и проч.
Распределением нагрузки между серверами занимаются специальные программы — кластер-менеджеры (cluster manager), распределяя задачи через «агентов» (cluster management agent), установленных на каждом сервере. Один из самых популярных кластер-менеджеров — Apache Mesos. Именно с этой программой разработчики сравнивают Quasar по эффективности.
Увеличение производительности различных задач Hadoop (Mahout), Storm и Spark при использовании Quasar
Коэффициент использования серверов (server utilization) при использовании Quasar и стандартной системы с резервированием мощности
Значительное улучшение коэффициента использования серверов достигается за счет отказа от стандартной практики резервирования мощностей для каждого приложения. Вместо этого Quazar ориентируется на целевую производительность приложения, которую указывает заказчик. При этом используются особые алгоритмы распределения нагрузки, схожие с алгоритмами в системах рекомендаций на сайтах интернет-магазинов. Они помогают определить, какие конкретно задачи из разных приложений можно осуществлять параллельно на одном и том же сервере, а какие нужно перенести на другой, с динамической адаптацией в процессе работы.
Схема работы Quazar
Такие впечатляющие результаты оптимизации нагрузки кажутся невероятными, но разработчики написали реализацию Quazar и в реальности проверили ее на кластере из 200 серверов Amazon EC2, так что научная работа подкреплена убедительной доказательной базой.
Подробнее: http://www.xakep.ru/post/62163/default.asp
Дайджест новых статей по интернет-маркетингу на ваш email
Новые статьи и публикации
- 2024-11-26 » Капитан грузового судна, или Как начать использовать Docker в своих проектах
- 2024-11-26 » Обеспечение безопасности ваших веб-приложений с помощью PHP OOP и PDO
- 2024-11-22 » Ошибки в Яндекс Вебмастере: как найти и исправить
- 2024-11-22 » Ошибки в Яндекс Вебмастере: как найти и исправить
- 2024-11-15 » Перенос сайта на WordPress с одного домена на другой
- 2024-11-08 » OSPanel 6: быстрый старт
- 2024-11-08 » Как установить PhpMyAdmin в Open Server Panel
- 2024-09-30 » Как быстро запустить Laravel на Windows
- 2024-09-25 » Next.js
- 2024-09-05 » OpenAI рассказал, как запретить ChatGPT использовать содержимое сайта для обучения
- 2024-08-28 » Чек-лист: как увеличить конверсию интернет-магазина на примере спортпита
- 2024-08-01 » WebSocket
- 2024-07-26 » Интеграция с Яндекс Еда
- 2024-07-26 » Интеграция с Эквайринг
- 2024-07-26 » Интеграция с СДЕК
- 2024-07-26 » Интеграция с Битрикс-24
- 2024-07-26 » Интеграция с Travelline
- 2024-07-26 » Интеграция с Iiko
- 2024-07-26 » Интеграция с Delivery Club
- 2024-07-26 » Интеграция с CRM
- 2024-07-26 » Интеграция с 1C-Бухгалтерия
- 2024-07-24 » Что такое сторителлинг: техники и примеры
- 2024-07-17 » Ошибка 404: что это такое и как ее использовать для бизнеса
- 2024-07-03 » Размещайте прайс-листы на FarPost.ru и продавайте товары быстро и выгодно
- 2024-07-01 » Профилирование кода в PHP
- 2024-06-28 » Изучаем ABC/XYZ-анализ: что это такое и какие решения с помощью него принимают
- 2024-06-17 » Зачем вам знать потребности клиента
- 2024-06-11 » Что нового в работе Яндекс Метрики: полный обзор обновления
- 2024-06-11 » Поведенческие факторы ранжирования в Яндексе
- 2024-06-11 » Скорость загрузки сайта: почему это важно и как влияет на ранжирование
Все мы сидим в сточной канаве, но некоторые при этом смотрят на звезды Уайльд Оскар - (1854-1900) - английский писатель |
Мы создаем сайты, которые работают! Профессионально обслуживаем и продвигаем их , а также по всей России и ближнему зарубежью с 2006 года!
Как мы работаем
Заявка
Позвоните или оставьте заявку на сайте.
Консультация
Обсуждаем что именно Вам нужно и помогаем определить как это лучше сделать!
Договор
Заключаем договор на оказание услуг, в котором прописаны условия и обязанности обеих сторон.
Выполнение работ
Непосредственно оказание требующихся услуг и работ по вашему заданию.
Поддержка
Сдача выполненых работ, последующие корректировки и поддержка при необходимости.