HPE HAVEn - эффективная платформа для обработки больших данных

16.02.2016

Большие данные - это расхожее название структурированных и неструктурированных данных которые нельзя обрабатывать в режиме реального времени традиционными методами и инструментами из-за объема этих данных. Кроме того, большие данные обычно поступают или обноваляются непрерывно и обрабатывать их нужно как правило на ходу. Большие данные можно условно разделить на три группы:

- структурированные данные, например СУБД общего назначения;

- данные, полученные из интернета вещей (информация с разных сенсоров, датчиков и т.д.);

- неструктурированные данные (сообщения, документы, изображения, мультимедиа, контент из соцсетей и т.д.)

Для работы с такими данным нужны специальные инструменты. Компания HP предлагает полный спектр средств для обработки. Комплекс инструментов получил название HPE HAVEn (H — Hadoop, A — Autonomy, V — Vertica, E — Enterprise Security, n — кастомизированные приложения).

HPE HAVEn не является отдельным продуктом, это платформа, которая объединяет в себе различные компоненты, которые приобретаются по отдельности. Компоненты могут сочетаться в любых комбинациях и призваны помочь справиться с постоянно растущими объемами данных.

Опишем кратко основные компоненты платформы.

Hadoop (Apache Hadoop) представляет собой свободно распространяемый набор утилит, фреймворков и библиотек, которые предназначены для разработки распределенных программ для масштабных кластеров.

Для этих разработок компания HPE предлагает использовать вычислительные картриджи HPE Proliant m710 Server Cartridge на базе шасси HPE Moonshot 1500. Хранение данных при этом предполагается осуществлять на серверах HPE Proliant SL4540 Scalable System или HPE Apollo 4500 System.

Autonomy IDOL (HPE IDOL) – это комплекс инструментов для анализа и индексирования неструктурированных данных. В пакет включено множество функций, например, автоматическое выделение сущностей, концептуальный анализ данных, визуализация массивов данных, кластерный анализ, автоматическое формирование таксономий.

HPE Vertica представляет собой специализированную базу данных, которая предназначена для анализа большого объема данных в реальном времени. Она обеспечивает более выскую производительность по сравнению с традиционными СУБД благодаря использованию кластерных технологий, механизму непрерывной загрузки данных без снижения скорости чтения и хранению и сжатию данных на основе столбцов.

Для построения кластеров Vertica компания HPE предлагает сервер HPE Proliant DL380 Gen9.

Enterprise Security – это специализированное средство, которое позволяет максимально быстро собирать лог-файлы, которые генерируются машинами. Сегодня этот продукт является одним из лидеров на мировом рынке.

nApps – так называемые кастомизированные приложения – это разработка как самой компании HPE, так и сторонних вендоров, совместимые с платформой HPE HAVEn

Разработанная компанией HPE платформа HAVEn включает в себя конвергентную инфраструктуру на базе надежных аппаратных средств, облачные сервисы, широкую партнерскую сеть и одну из крупнейших служб поддержки. Это гарантирует успешную реализацию задач по хранению и обработке больших данных с помощью этой платформы.