Что такое архитектура больших данных?

1. Нужна ли мне архитектура больших данных?
2. Планирование архитектуры больших данных
3. Критические Компоненты
4. Основные кластеры
5. Загрузка данных
6. Обработка данных
7. Вывод и запрос
8. Конвейеры данных
9. Архитектура больших данных: решающее значение для успеха аналитики

Большие данные архитектура является основой для аналитика больших данных , Представьте себе архитектуру больших данных как архитектурный проект большого кампуса или офисного здания. Архитекторы начинают с понимания целей и задач строительного проекта, а также преимуществ и ограничений различных подходов. Это непростая задача, но она вполне выполнима при правильном планировании и инструментах.

Системные архитекторы проходят аналогичный процесс планирования архитектуры больших данных. Они встречаются с заинтересованными сторонами, чтобы понять цели компании для ее больших данных, и планируют вычислительную среду с соответствующим аппаратным и программным обеспечением, источниками данных и форматами, аналитические инструменты , решения по хранению данных и потребление результатов.

Если вы находитесь на рынке инструментов для больших данных, см. Наш список ведущие компании с большими данными ,

Нужна ли мне архитектура больших данных?

Не всем нужно использовать архитектуру больших данных. Отдельные вычислительные задачи редко превышают 100 ГБ данных, что не требует большой архитектуры данных. Если вы не анализируете терабайты и петабайты данных - и делаете это последовательно - обращайтесь к масштабируемому серверу вместо масштабно масштабируемой архитектуры, такой как Hadoop. Если вам нужна аналитика, рассмотрите масштабируемый массив, который предлагает встроенную аналитику для хранимых данных.

Вам, вероятно, нужна архитектура больших данных, если к вам применимо любое из следующего:

1. Вы хотите извлечь информацию из обширных сетей или веб-журналов.
2. Вы обрабатываете массивные наборы данных размером более 100 ГБ. Некоторые из этих вычислительных задач выполняются 8 часов или дольше.
3. Вы готовы инвестировать в проект с большими данными, включая сторонние продукты, для оптимизации вашей среды.
4. Вы храните большое количество неструктурированные данные что вам нужно обобщить или преобразовать в структурированный формат для лучшей аналитики.
5. У вас есть несколько больших источников данных для анализа, включая структурированные и неструктурированные.
6. Вы хотите активно анализировать большие данные для нужд бизнеса, например, анализировать продажи магазинов по сезонам и рекламе, применять анализ настроений к сообщениям в социальных сетях или исследовать электронную почту на предмет подозрительных моделей общения - или всего вышеперечисленного.

С случаи применения Подобно этому, есть вероятность, что ваша организация получит выгоду от архитектуры больших данных, специально созданной для этих сложных задач. Планируйте среду, которая будет собирать, хранить, преобразовывать и передавать этот ценный интеллект.

Планирование архитектуры больших данных

Архитектура больших данных включает в себя механизмы приема, защиты, обработки и преобразования данных в файловые системы или структуры баз данных. Аналитические инструменты и аналитические запросы выполняются в среде для извлечения интеллектуальных данных из данных, которые выводятся на различные транспортные средства.

Архитектура имеет несколько слоев. Давайте начнем с обсуждения логических уровней Большой Четверки, которые существуют в любой архитектуре больших данных.

1. Слой источников больших данных : источники данных для архитектуры больших данных расположены по всей карте. Данные могут поступать с серверов и датчиков компании или от сторонних поставщиков данных. Среда больших данных может принимать данные в пакетном режиме или в режиме реального времени. Несколько примеров источников данных включают корпоративные приложения, такие как ERP или CRM, документы MS Office, хранилища данных и системы управления реляционными базами данных (RDBMS), базы данных, мобильные устройства, датчики, социальные сети и электронная почта.
2. Уровень массирования и хранения данных: этот уровень получает данные из источников. При необходимости он преобразует неструктурированные данные в формат, понятный аналитическим инструментам, и сохраняет данные в соответствии с их форматом. Архитектура больших данных может хранить структурированные данные в СУБД, а неструктурированные данные - в специализированной файловой системе, такой как Hadoop Distributed File System (HDFS), или базе данных NoSQL.
3. Уровень анализа: уровень анализа взаимодействует с хранимыми данными для извлечения бизнес-аналитики. Несколько инструментов аналитики работают в среде больших данных. Структурированные данные поддерживают зрелые технологии как выборка, в то время как неструктурированные данные нуждаются в более продвинутых (и более новых) специализированных аналитических инструментах.
4. Уровень потребления: этот уровень получает результаты анализа и представляет их соответствующему выходному слою. Множество типов выходных данных охватывает людей-зрителей, приложения и бизнес-процессы.

В дополнение к логическим уровням в среде больших данных работают четыре основных процесса: многоуровневое соединение с источниками данных, управление, управление системами и качество обслуживания (QoS).

1. Подключение к источникам данных: для быстрого доступа к данным требуются разъемы и адаптеры, которые могут эффективно подключаться к различным системам хранения, протоколам и сетям; и форматы данных, управляющие гаммой от записей базы данных до контента в социальных сетях и датчиков.
2. Управление большими данными: архитектура больших данных включает в себя положения по управлению конфиденциальностью и безопасностью. Организации могут выбрать использование собственных инструментов соответствия в системах хранения аналитики, инвестировать в специализированное программное обеспечение соответствия для своей среды Hadoop или подписать соглашения об уровне обслуживания с их облачным провайдером Hadoop. Политики соответствия должны действовать с момента приема через обработку, хранение, анализ и удаление или архивирование.
3. Управление системами. Архитектура больших данных обычно строится на крупномасштабных распределенных кластерах с высокой масштабируемостью производительности и емкости. ИТ-специалисты должны постоянно отслеживать и оценивать работоспособность системы с помощью центральных консолей управления. Если ваша среда больших данных находится в облаке, вам все равно придется тратить время и силы на то, чтобы установить и контролировать соглашения об уровне обслуживания (SLA) с вашим облачным провайдером.
4. Защита качества обслуживания: QoS - это структура, которая поддерживает определение качества данных, политик соответствия, частоты и размеров потребления и фильтрации данных. Например, поставщик общедоступного облака экспериментировал с планированием хранения данных на основе QoS в облачной распределенной среде больших данных. Поставщик хотел улучшить доступность и время обработки уровня обработки данных и хранения данных, поэтому он автоматически перенаправлял загруженные данные в предварительно определенные виртуальные кластеры на основе уровней обслуживания QoS.

Архитектура больших данных объединяет множество различных задач в единый всеобъемлющий план, позволяющий максимально эффективно использовать усилия компании по извлечению данных.

Критические Компоненты

Давайте посмотрим на архитектуру больших данных, использующую Hadoop в качестве популярной экосистемы. Hadoop является открытым исходным кодом, и несколько поставщиков и крупных поставщиков облачных услуг предлагают системы и поддержку Hadoop. Существует также множество открытых и коммерческих продуктов, которые расширяют возможности Hadoop.

Основные кластеры

Архитектура Hadoop является кластерной архитектурой. Hadoop работает на обычных серверах и рекомендует двухпроцессорные серверы с 4-8 ядрами каждый и не менее 48 ГБ ОЗУ. (Использование технологий ускоренной аналитики, таких как Apache Spark, еще больше ускорит среду.) Хранилище также должно быть легко масштабируемым.

Другой вариант - облачные среды Hadoop, где облачный провайдер создает инфраструктуру для вас. Облако может добавить задержку, вы будете в общей среде, и вы не хотите быть заблокированы. Но облако - отличный выбор для новой установки Hadoop, или когда вы знаете, что не хотите наращивать стойки центра обработки данных или ИТ-персонал для поддержки локального Hadoop.

Загрузка данных

Загрузка данных в кластеры является постоянным событием. Hadoop поддерживает как пакетные данные, такие как загрузка в файлы или записи в определенное время дня, так и управляемые событиями данные, такие как загрузка данных транзакций по мере выполнения транзакций. Программные средства для загрузки исходных данных включают в себя Apache Sqoop для пакетной загрузки и Apache Flume для управляемой событиями загрузки данных.

Ваша среда больших данных также подготовит входящие данные для обработки, включая преобразование данных по мере необходимости и отправку их в правильное хранилище в нужном формате. Дополнительные действия включают разделение данных и назначение контроля доступа.

Обработка данных

Когда система принимает, идентифицирует и сохраняет данные, она автоматически обрабатывает их. Это двухэтапный процесс преобразования данных и их анализа. Преобразование данных просто означает обработку их в готовые аналитические форматы и / или сжатие.

В Hadoop это территория MapReduce. MapReduce является основным компонентом Hadoop, который фильтрует (отображает) данные между узлами и объединяет (уменьшает) данные, возвращаемые в ответ на запрос. MapReduce достигает высокой производительности благодаря параллельным операциям между массивными кластерами, а отказоустойчивость переназначает данные из неисправного узла. MapReduce работает как с структурированными, так и с неструктурированными данными.

Многие аналитики и поставщики используют MR с дополнительными фильтрами, такими как добавление совместной фильтрации в MR для определения пользовательских предпочтений в данных Twitter. Его заменяют другие аналитические продукты, такие как собственный облачный поток данных Google.

Вывод и запрос

Одна из замечательных особенностей Hadoop состоит в том, что после обработки и размещения данных различные инструменты аналитики могут работать с неизменным набором данных. Нет необходимости повторно обрабатывать его для разных инструментов или копировать в разные места. Одна и та же копия данных служит для всех запросов.

Вывод охватывает различные направления, в том числе отчеты и панель инструментов визуализация для пользователей или триггеры следующего шага в бизнес-процессах.

Конвейеры данных

Микро- и макротрубопроводы позволяют выполнять отдельные этапы обработки. Микропроводки работают на ступенчатом уровне, создавая подпроцессы на гранулированных данных. В типичном сценарии одним источником данных являются данные о транзакциях клиента из основного центра обработки данных компании. Данные поступают в Hadoop, поэтому аналитики компании могут исследовать отток клиентов. Тем не менее, соблюдение является проблемой, потому что данные включают номера кредитных карт клиентов. Микропроводность добавляет гранулированный этап обработки, который очищает номера кредитных карт из отчетов группы аналитиков.

Макротрубопроводы работают на уровне рабочего процесса. Они определяют 1) управление рабочим процессом: какие шаги включают рабочий процесс, и 2) действие: что происходит на каждом этапе, чтобы включить надлежащий рабочий процесс.

Архитектура больших данных: решающее значение для успеха аналитики

Архитектура больших данных требует постоянного внимания и инвестиций. Прежде чем вы начнете кричать о холмах, помните, что хорошо выполненная архитектура больших данных сделает многое из этого за кулисами. Вы можете выполнить еще больше задач планирования и управления, если работаете с консультантами и поставщиками услуг.

Несмотря на сложность и стоимость, архитектура больших данных позволяет извлекать важную бизнес-информацию из непрозрачных данных, что повышает прибыль и снижает риски. Сделано хорошо, эти результаты более чем стоит цена входного билета.

Похожие

Комментарии