Big Data большие данные

По прогнозам ведущий аналитических агентств, к 2020 году количество данных в мире достигнет 40 зеттабайт. Объемы хранимой информации ежегодно возрастают на 50%. Потоки информации генерируются новыми интернет-сервисами, всевозможными приложениями электронной торговли, постоянно растет число телеметрических данных и большую их составляющую имеют данные о данных. Работа с огромными объемами данных, имеющих разнообразную структуру и поступающих с большой скоростью -раньше это считалось невозможным!

Big Data , термин, который все чаще можно встретить в ИТ публикациях. Под этим термином подразумеваются огромное количество обрабатываемой информации, технологии обработки и хранения, технологии аналитики, технологии визуализации. Для практического применения это означает управление данными с момента их возникновения, обработка в исходном формате, новые варианты использования информации не применявшиеся до этого. Чтобы данные были полезны, необходимо интегрировать клиентскую базу с данными о финансах и продажах, информацией о продуктах, маркетинговыми данными, социальными сетями, демографическими данными, сведениями о конкурентах и так далее.

Понятие Big Data можно охарактеризовать тремя составляющими – это объемом (Volume), вариативность (Variety), скорость (Velocity). Hadoop представляет, по сути, перемещение приложения к данным. В Hadoop данные хранятся в распределенной файловой системе на множестве недорогих серверов. Для повышения производительности применяется технология MapReduce, которая обеспечивает массовую параллельную обработку, NoSQL применяется для использования различных структур данных. Традиционные системы бизнес разведки и бизнес аналитики не справляются с большим объемом данных поступающие в режиме реального времени. Соответственно ведущие вендоры включают в состав законченных решений Big Data продукты BI, Data Mining приобретенных компаний и собственной разработки, а также определенные бизнес-кейсы для различного сегмента потребителей.
Big Data сферы применения

Телеком

  • Обработка CDR
  • Управление качеством услуг
  • Снижение оттока абонентов
  • Геолокационный маркетинг
  • Управление активами

Финансовые услуги

  • Глубокое понимание клиента
  • Управление транзакциями
  • Противодействие мошенничеству
  • Управление рисками

Электронная коммерция

  • Многоканальный маркетинг
  • Анализ поведения пользователя в сети
  • Раскрутка в режиме реального времени

Здравоохранение

  • Текстовый анализ медицинских записей
  • Прогнозирование состояния пациента
  • Клинические исследования
  • Анализ генома

Энергетика

  • Аналитика по умным счетчикам
  • Прогнозирование сетевой нагрузки
  • Управление активами

Охрана правопорядка

  • Комплексные системы наблюдения
  • Ситуационный анализ
  • Безопасность в киберсреде

Он-лайн медиа

  • Управление рекламной площадкой
  • RTB реклама
  • Анализ веб-активности
  • Анализ информационных потоков

Big Data положение на рынке (источник: Gartner, январь 2011)