Обоснование необходимости Хранилища данных

Рассмотрим основные причины, вынуждающие предприятия реализовывать технологию Хранилищ данных. В литературе эти причины очень часто путают с "вторичными преимуществами", которые дает эта технология. В рекламных проспектах, посвященных Хранилищам обязательно найдется фраза о том, что они используются для "преобразования данных для бизнес-анализа", "помогают в принятии решений на основе фактов, а не интуиции", "дают возможность поближе узнать клиента" и, конечно, везде вставляется фраза о достижении "конкурентных преимуществ". Но в 99% случаев Хранилища данных - только первый шаг в осуществлении всех этих далеко идущих целей.

А теперь перечислим, для чего компании может понадобиться Хранилище:

Для выполнения серверных/дисковых задач, связанных с созданием запросов и отчетов на серверах/дисках, не используемых в системах обработки транзакций (OLTP - online transaction processing)

Большинство фирм стремятся настроить системы обработки транзакций так, чтобы все операции выполнялись за приемлемое время. Например, отчеты и запросы, требующие гораздо большего объема ограниченных ресурсов, чем обработка транзакций, тем не менее выполняются на серверах/дисках, а поэтому мешают своевременному выполнению транзакций. Или же для выполнения запросов и отчетов используются серверы/диски, отводимые под системы обработки транзакций - в этом случае может осложниться управление ресурсами, а желаемое время ответа на запрос вряд ли будет получено. В связи с этим рекомендуется реализовывать архитектуру Хранилища данных, использующую отдельные серверы/диски для создания запросов/отчетов, что позволит добиться приемлемого времени обработки транзакций и будет разумно и с финансовой и с организационной точки зрения.

Для использования моделей данных и/или серверных технологий, ускоряющих создание запросов и отчетов, но не предназначенных для обработки транзакций

Существуют методы моделирования данных, существенно сокращающие время выполнения запросов и отчетов (например схема "звезда"), но не предназначенные для обработки транзакций, так как лежащие в их основе технологии замедляют и усложняют OLTP-процессы. Кроме того, некоторые серверные технологии хотя и повышают эффективность обработки запросов и отчетов, но замедляют обработку транзакций (например битовое индексирование - bit-mapped indexing), и наоборот (например восстановление транзакций). Причем влияние того или иного метода моделирования или серверной технологии меняется от поставщика к поставщику, а также в зависимости от того, в какой ситуации они применяются.

Для создания среды, в которой написание и поддержка запросов и отчетов не требует больших знаний в области технологий баз данных. А также для обеспечения средств, позволяющих техническим специалистам ускорить процесс написания и поддержки запросов и отчетов

Часто Хранилище данных настраивается таким образом, что несложные запросы и отчеты можно написать, даже не имея серьезных технических знаний. Тем не менее, такие пользователи все равно сталкиваются с трудностями и вынуждены обращаться за помощью к сотрудникам отдела информационных систем. Последним, возможно, тоже удобнее работать с Хранилищем. Необходимо отметить, что ведение отчетов и запросов в Хранилище данных сокращает количество бюрократических процедур, и это тоже повышает производительность работы технического персонала.

Для создания репозитория "очищенных" данных системы обработки транзакций и последующего получения отчетов из этих данных без изменения самой OLTP-cистемы

Типы ошибок, которые нужно устранить для "очистки" данных описаны в небольшой статье "Неформальная систематика ошибок в хранилище данных" (An informal taxonomy of data warehouse data errors). Хранилище дает возможность очистки данных без изменения систем обработки транзакций. Тем не менее, стоит обратить внимание на то, что в некоторых реализациях этой технологии предусмотрена возможность фиксировать исправления и затем переносить их обратно в OLTP-системы. Иногда такой способ исправления ошибок удобнее, чем непосредственные изменения в системе обработки транзакций.

Для упрощения формирования запросов и отчетов по данным из нескольких систем обработки транзакций, а также из внешних источников данных и/или по данным, которые хранятся только для отчетности

Долгое время для составления отчетов по данным из нескольких систем организации были вынуждены писать специальные процедуры извлечения данных и выполнять операции сортировки и объединения, а затем уже составлять отчеты по отсортированным (и/или объединенным) выборкам данных. Во многих случаях эта стратегия вполне адекватна. Но если организация хранит большой объем данных, требующих частой сортировки (объединения), а также "очистки", то лучше всего реализовать Хранилище.

Для создания репозитория данных OLTP-системы, содержащего долговременную информацию, хранение которой в системе обработки транзакций не эффективно. Либо для генерации отчетов, отражающих ситуацию в предыдущие периоды

Чтобы не замедлять выполнение операций, старые данные часто удаляются из систем обработки транзакций. Однако для отчетности и составления запросов есть смысл держать эту информацию в Хранилище, где время отклика не так критично. Что касается отчетов по прошлым периодам, то их создание часто затруднено, а то и вовсе невозможно. Пусть, например, нужно получить информацию о зарплате сотрудников третьего разряда согласно сетке оплаты труда на начало каждого месяца 1997 года. Это оказывается невыполнимым, поскольку в базе данных хранятся записи только о текущем разряде сотрудников. Для решения подобного рода проблем удобно воспользоваться Хранилищем данных, поддерживается так называемое "медленно изменяющееся измерение".

Для ограничения доступа к базе данных системы и программной логике ее управления лицам, использующим данные OLTP-систем исключительно для составления отчетов и запросов

В этом случае основная цель - защита информации. Например, если организация предоставляет возможность формирования отчетов и запросов через Интернет, то имеет смысл использовать Хранилище данных.

Одни фирмы разрабатывают Хранилища данных в силу всех описанных выше причин, другим же достаточно только одной из них.
Не стоит утверждать, что реализация технологии Хранилищ не преследует коммерческих целей. Однако их можно достичь только при решении одной или нескольких из вышеперечисленных задач.
Если присмотреться к ним внимательно, то становится ясно, что необходимость создания Хранилищ часто связана с несовершенством систем обработки транзакций. Однако подобные ограничения присущи не всем системам этого класса, и, кроме того, они не всегда критичны.

В заключении повторим сказанное выше. Для того чтобы реализовать возможности Business Intelligence, а также получить более подробную информацию о клиентах и иметь хорошие "конкурентные преимущества", организации не достаточно просто разработать Хранилище данных. Необходимо решить (как правило методом проб и ошибок) не менее сложную задачу об оптимальном использовании Хранилища и последующем изменении практики деловых отношений.

Статьи по теме

Оптимизация и тюнинг производительности MariaDB MySQL сервера внутри Docker

Содержание: Установка и знакомство с MySQLTuner Установка MySQL Tuning Primer Script Первичная оптимизация MySQL сервера ...

2023-11-08

Работа с базами данных MySQL в ISPManager 5 + Docker

В ISPManager 5 добавлена контейнерная виртуализация Docker для использования альтернативных версий MySQL. Цитата из документации ISPManager 5: ...

2023-10-27

«Облачные» хранилища данных: в ожидании доверия

Информационные технологии активно мигрируют в сторону «облаков». Эксперты прогнозируют, что одним из главных приоритетов для CIO в ближ...

2011-11-05

ГОСТ 34.602-89. на Техническое задание по разработке web проекта

ТЕХНИЧЕСКОЕ ЗАДАНИЕ НА СОЗДАНИЕ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ Information technology. Set of standards for automated systems. Technical directions ...

2010-12-28

Orange color: теория и практика

Знаете ли Вы, чем оранжевый цвет отличается от других ? Если нет, то знайте, что разница в скорости восприятия глазом отдельных цветов ра...

2010-12-27

FAQ по MS SQL 7.0

11. Как запускать-останавливать SQL Server через командную строку? Мне это нужно для использования в скриптах.Остановка:NET STOP MSSQLSERVERили если вы...

2010-09-17

Виртуальная реализация SQL Server 2005

Ранее в материале «Разбираем “айсберг” sql server 2005» читателям предлагалось воспользоваться опубликованной в internet серией информационных...

2010-09-17

SQL Server в вопросах и ответах

В: У меня на разных компьютерах установлено два sql server 7.0. Для обмена данными между ними я использовал data transformation services (dts), чтобы импортиро�...

2010-09-17

Один из вариантов соглашения об именах объектов MS SQL Server

Помните, что имена объектов sql сервера не могут превышать 30 символов. Не используйте зарезервированные слова, специальные символы, и не н...

2010-09-17

Создание и удаление БД в MS SQL Server

В sql server'е базы данных хранятся в виде обычных файлов на диске. Как минимум на одну БД приходится таких файлов 2: *.mdf и *.ldf. В первом хранятся...

2010-09-17

Создание и удаление таблиц в MS SQL Server

Все данные в БД sql server хранятся в таблицах.Таблицы состоят из колонок, объединяющих значения одного типа, и строк - записей в таблице. В од�...

2010-09-17

Единая аутентификация Windows NT/2000 и Oracle

При использовании Windows NT/2000 как платформы для работы Oracle, и на стороне сервера и на стороне клиентов, имеется возможность использовать ед...

2010-09-17

Oracle / PHP FAQ

Что такое PHP и что необходимо иметь для работы с Oracle?PHP - рекурсивный акроним "PHP Hypertext Preprocessor". Это интерпретируемый язык программирования ...

2010-09-17

Oracle и PHP - это очень просто

ВведениеСУБД Oracle, когда против желания фирмы-изготовителя, а когда согласно – в зависимости от направления политических ветров в конкр�...

2010-09-17

Сжатие данных в целях экономии места и ускорения работы Oracle

Используйте сжатие данных таблицы для экономии места на диске и повышения производительности запросов. В большинстве систем поддержки ...

2010-09-17