Big Data большие данные
По прогнозам ведущий аналитических агентств, к 2020 году количество данных в мире достигнет 40 зеттабайт. Объемы хранимой информации ежегодно возрастают на 50%. Потоки информации генерируются новыми интернет-сервисами, всевозможными приложениями электронной торговли, постоянно растет число телеметрических данных и большую их составляющую имеют данные о данных. Работа с огромными объемами данных, имеющих разнообразную структуру и поступающих с большой скоростью -раньше это считалось невозможным!
Big Data , термин, который все чаще можно встретить в ИТ публикациях. Под этим термином подразумеваются огромное количество обрабатываемой информации, технологии обработки и хранения, технологии аналитики, технологии визуализации. Для практического применения это означает управление данными с момента их возникновения, обработка в исходном формате, новые варианты использования информации не применявшиеся до этого. Чтобы данные были полезны, необходимо интегрировать клиентскую базу с данными о финансах и продажах, информацией о продуктах, маркетинговыми данными, социальными сетями, демографическими данными, сведениями о конкурентах и так далее.
Понятие Big Data можно охарактеризовать тремя составляющими – это объемом (Volume), вариативность (Variety), скорость (Velocity). Hadoop представляет, по сути, перемещение приложения к данным. В Hadoop данные хранятся в распределенной файловой системе на множестве недорогих серверов. Для повышения производительности применяется технология MapReduce, которая обеспечивает массовую параллельную обработку, NoSQL применяется для использования различных структур данных. Традиционные системы бизнес разведки и бизнес аналитики не справляются с большим объемом данных поступающие в режиме реального времени. Соответственно ведущие вендоры включают в состав законченных решений Big Data продукты BI, Data Mining приобретенных компаний и собственной разработки, а также определенные бизнес-кейсы для различного сегмента потребителей.
Big Data сферы применения
Телеком
- Обработка CDR
- Управление качеством услуг
- Снижение оттока абонентов
- Геолокационный маркетинг
- Управление активами
Финансовые услуги
- Глубокое понимание клиента
- Управление транзакциями
- Противодействие мошенничеству
- Управление рисками
Электронная коммерция
- Многоканальный маркетинг
- Анализ поведения пользователя в сети
- Раскрутка в режиме реального времени
Здравоохранение
- Текстовый анализ медицинских записей
- Прогнозирование состояния пациента
- Клинические исследования
- Анализ генома
Энергетика
- Аналитика по умным счетчикам
- Прогнозирование сетевой нагрузки
- Управление активами
Охрана правопорядка
- Комплексные системы наблюдения
- Ситуационный анализ
- Безопасность в киберсреде
Он-лайн медиа
- Управление рекламной площадкой
- RTB реклама
- Анализ веб-активности
- Анализ информационных потоков
Big Data положение на рынке (источник: Gartner, январь 2011)