По прогнозам ведущий аналитических агентств, к 2020 году количество данных в мире достигнет 40 зеттабайт. Объемы хранимой информации ежегодно возрастают на 50%. Потоки информации генерируются новыми интернет-сервисами, всевозможными приложениями электронной торговли, постоянно растет число телеметрических данных и большую их составляющую имеют данные о данных. Работа с огромными объемами данных, имеющих разнообразную структуру и поступающих с большой скоростью -раньше это считалось невозможным!

Big Data , термин, который все чаще можно встретить в ИТ публикациях. Под этим термином подразумеваются огромное количество обрабатываемой информации, технологии обработки и хранения, технологии аналитики, технологии визуализации. Для практического применения это означает управление данными с момента их возникновения, обработка в исходном формате, новые варианты использования информации не применявшиеся до этого. Чтобы данные были полезны, необходимо интегрировать клиентскую базу с данными о финансах и продажах, информацией о продуктах, маркетинговыми данными, социальными сетями, демографическими данными, сведениями о конкурентах и так далее.

Понятие Big Data можно охарактеризовать тремя составляющими – это объемом (Volume), вариативность (Variety), скорость (Velocity). Hadoop представляет, по сути, перемещение приложения к данным. В Hadoop данные хранятся в распределенной файловой системе на множестве недорогих серверов. Для повышения производительности применяется технология MapReduce, которая обеспечивает массовую параллельную обработку, NoSQL применяется для использования различных структур данных. Традиционные системы бизнес разведки и бизнес аналитики не справляются с большим объемом данных поступающие в режиме реального времени. Соответственно ведущие вендоры включают в состав законченных решений Big Data продукты BI, Data Mining приобретенных компаний и собственной разработки, а также определенные бизнес-кейсы для различного сегмента потребителей.
Big Data сферы применения

Телеком

• Обработка CDR
• Управление качеством услуг
• Снижение оттока абонентов
• Геолокационный маркетинг
• Управление активами

Финансовые услуги

• Глубокое понимание клиента
• Управление транзакциями
• Противодействие мошенничеству
• Управление рисками

Электронная коммерция

• Многоканальный маркетинг
• Анализ поведения пользователя в сети
• Раскрутка в режиме реального времени

Здравоохранение

• Текстовый анализ медицинских записей
• Прогнозирование состояния пациента
• Клинические исследования
• Анализ генома

Энергетика

• Аналитика по умным счетчикам
• Прогнозирование сетевой нагрузки
• Управление активами

Охрана правопорядка

• Комплексные системы наблюдения
• Ситуационный анализ
• Безопасность в киберсреде

Он-лайн медиа

• Управление рекламной площадкой
• RTB реклама
• Анализ веб-активности
• Анализ информационных потоков

Big Data положение на рынке (источник: Gartner, январь 2011)