• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Кому и чем поможет Big Data

Технологии Big Data несут в себе качественно новые возможности для оптимизации технологических и бизнес-процессов, отношений с клиентами и партнерами. Практика рынка – в наблюдениях системных интеграторов и поставщиков оборудования.

«ИКС»: Какие новые тренды появились на рынке аппаратных и программных решений в области бизнес-аналитики и «больших данных» за 2014 г. в мире и в России?

Роман БАРАНОВ, руководитель направления Analytics & Big Data, КРОК: Главный тренд рынка – широкий интерес заказчиков к аналитике данных, в том числе и «больших». В кризисное время концепция Big Data позволяет определить пути оптимизации затрат и бизнес-процессов, новые стратегии развития бизнеса и клиентских предложений. Самый яркий пример – это машиногенерируемые данные, например, трекинг мобильного абонента по данным сигнальной сети.

Второй тренд связан с вендорозамещением – это развитие open source-решений бизнес-аналитики, а также повышение рыночного спроса на облачные сервисы.

Алексей БЕДНОВ, архитектор Big Data, AT Consulting: За последний год на ИТ-рынке принципиально нового «железа» не появилось, зато в софтверной сфере вышло много новинок, изменился подход заказчиков к выбору решений. В связи с текущей ситуацией продукты именитых вендоров стали менее востребованы из-за высокой стоимости. Новый тренд сформировался в области способа потребления информации: пользователи Big Data-решений предпочитают получать результаты анализа в виде визуальных схем, диаграмм. Еще один значимый, на мой взгляд, тренд – появление онлайн-сервисов для анализа информации. Они уменьшают стоимость содержания ИТ-инфраструктуры и персонала для заказчика и позволяют ускорить решение задач, ведь обслуживанием сервиса занимается провайдер, а от заказчика требуется только загрузить данные для анализа и оплатить результат.

Вячеслав ДЕДЮХИН, бизнес-аналитик, i-Digital: Первый тренд – это увеличение количества приложений для визуализации данных на мобильных устройствах. В 2014 г. в этой области появилось несколько интересных стартапов, а крупные корпорации рассматривают это направление как одно из основных для развития своих BI-систем.

Второй тренд – это слияние решений для «больших данных» и бизнес-аналитики. Для доступа к Big Data на базе Hadoop приобретают все большую популярность ETL-cистемы (Extract, Transformation, Loading – извлечение, трансформация, загрузка). В плане защиты информации и управляемости они постепенно приближаются к корпоративным BI-системам, а внедрение SQL-синтаксиса для «больших данных» становится обязательным.

Еще одно знаковое событие – рост использования возможностей машинного обучения для обработки данных на основе естественного языка, распознавания образов и семантического поиска. И последний тренд, который хочется упомянуть, – забота о сохранности персональных данных при обработке Big Data. В России эта проблема особенно актуальна в свете скорого вступления в силу поправок к Закону «О персональных данных».

Алексей МЕЩЕРЯКОВ, руководитель направления платформенных решений, SAS Россия/СНГ: В области «больших данных» количество проектов, в том числе требующих применения сложных аналитических моделей в высокопроизводительных средах, стремительно растет. Программные инструменты, с помощью которых компании начинают работать с «большими данными», становятся все более удобными, они все больше ориентируются на бизнес-пользователей. От последних уже не требуется умения программировать. Открывая доступ к большому количеству манипуляций с данными, такие инструменты упрощают и ускоряют основные этапы подготовки и анализа информации, например обеспечивают профилирование данных для получения исчерпывающего представления о структуре и содержимом накопленных массивов информации. Затем данные можно обработать, объединить, создать выборки и построить запросы. Все эти операции не требуют кодирования и осуществляются через визуальные интерфейсы.

«ИКС»: Как изменился подход компаний-заказчиков к хранению данных? Какие данные они начали собирать и анализировать?

Руслан МЕЛЬНИКОВ, директор по продажам, российское представительство TmaxSoft: Заказчики сконцентрировались на поиске решений с минимальной стоимостью владения, которые обеспечивают наилучшие показатели возврата инвестиций. Многие из них открыли для себя альтернативные решения от российских и зарубежных поставщиков, полностью удовлетворяющие критериям надежности, производительности и безопасности и при этом предлагающие быстрые и понятные механизмы миграции с существующих решений на новые альтернативные платформы c cохранением основного функционала.

Помимо использования Big Data для проведения таргетированных маркетинговых кампаний, у заказчиков появился интерес к более тщательному анализу данных для обнаружения и предотвращения случаев мошенничества.

Владимир ТКАЧЕВ, технический директор, VMware в России и СНГ: Возможность эффективно обрабатывать огромные массивы и потоки информации становится для многих компаний ключевым фактором успеха. Организации, связанные с финансами, транспортом, телекоммуникациями, торговлей, туризмом, здравоохранением и другими сферами, принимают и производят большие информационные потоки, и их эффективное использование все больше зависит от систем автоматизированного сбора, хранения и анализа данных.

Массивы данных из соцсетей, интернет-торговли, поисковых сервисов, анализирующих действия пользователей, разнообразных мобильных приложений, сенсоров и регистраторов, снимающих показания в реальном времени, при правильном анализе могут помочь выявить тенденции и закономерности, которые в обычных условиях увидеть невозможно или очень сложно.

«ИКС»: Какие накопленные данные сегодня анализируют, переиспользуют, монетизируют компании-заказчики из разных отраслей?

Анна ВИТЗОН, аналитик отдела бизнес-анализа Центра программных решений, «Инфосистемы Джет»: В большинстве случаев сегодня все еще анализируются структурированные данные. Однако остается ворох неструктурированной информации: в этой части технологии пока не так совершенны, но спрос на них постепенно растет. Заказчики из разных отраслей задумываются о решениях Big Data, позволяющих видеть закономерности в поведении клиента. В телекоме можно, скажем, собирать статистику по оплате мобильной связи, классифицировать абонентов и на основании этих данных предлагать им дополнительные услуги.

Р. БАРАНОВ: Каждый заказчик отвечает на этот вопрос, исходя из своих задач. Например, для более четкой сегментации клиентов и формирования персонифицированных предложений в ритейле может анализироваться и собираться история поведения посетителей на сайте, история взаимоотношений с покупателем (от звонка с уточнениями до покупки), информация из соцсетей и пр. Объединение данных по офлайн- и онлайн-торговле для них – тренд. Для решения логистических задач – будь то построение оптимальных моделей управления запасами товара и закупками или оптимизация логистических маршрутов – должны быть учтены различные внешние и внутренние факторы, включая сроки доставки, загруженность машин, аварии и пробки на дорогах.

А. БЕДНОВ: Тип собираемой информации зависит от сферы деятельности и потребностей заказчика. Всех интересуют данные, которые влияют на рост продаж и увеличение дохода. Это может быть какая-либо внутренняя информация: источники обращения клиентов, транзакционные и геолокационные данные.

«ИКС»: Об использовании и переиспользовании каких потенциально полезных для бизнеса данных заказчики из разных отраслей еще не задумываются? Почему?

А. ВИТЗОН: Терабайты данных, которые каждый день генерируют бизнес-системы операторов связи, могут дать ценную информацию о ключевых показателях производительности и эффективности бизнеса. Анализ этих данных поможет понять, где и в какое время имеет место массовое скопление людей, и эффективно распределить нагрузку по сети (это весьма актуально для крупных торговых центров в часы пик). Анализ неструктурированных логов, собранных с различного оборудования, поможет определить причину, по которой абонент не смог получить услугу.

В банковской сфере с помощью Big Data можно повысить уровень экономической безопасности. Например, проанализировав взаимосвязи между разными клиентами и их операции в течение 10 лет, можно обнаружить мошеннические схемы. Сделать это вручную невозможно. Анализ клиентских баз, а также неструктурированной информации из соцсетей и других источников поможет выявлять скрытые связи между клиентами и разрабатывать более сфокусированные маркетинговые предложения. Кроме того, системы бизнес-анализа позволяют упростить поиск необходимой информации в большом архиве.

Сергей ГОРШКОВ, технический директор, АКБ1/«ТриниДата»: Компании за последние годы собрали горы разнородной информации, но пока слабо сознают возможности их интегрированного анализа. В промышленности и энергетике собирается огромное количество телеметрии, которая используется лишь для решения узкого круга оперативных задач. Между тем такие данные можно применять не только для текущего управления каждым активом в отдельности, но и для централизованного, всестороннего интегрированного мониторинга сложных промышленных систем, для повышения их надежности.

«ИКС»: Какой стратегии в области работы с постоянно поступающими данными/уже накопленными большими объемами данных вы рекомендуете придерживаться заказчикам?

А. БЕДНОВ: Самый правильный подход – заранее тщательно продумать ИТ-архитектуру для поддержки любого проекта, связанного с Big Data. Для этого нужно ответить на вопрос о том, какие задачи компания будет с помощью технологий Big Data решать. Как правило, все начинается с запуска маленького кластера для анализа небольшого объема информации, затем количество данных растет, расчеты усложняются, и производительности созданной ИТ-инфраструктуры становится недостаточно. Важно продумать и систему хранения информации, которая позволит не зависеть от источников данных.

Рекомендации достаточно предсказуемы: не смешивать realtime и офлайн-обработку данных, разделять кластеры на несколько независимых частей, продумывать слои данных и варианты их хранения. Не открывать конечным пользователям доступ к «сырой» информации, а только к агрегированным витринам данных. Все эти меры позволяют снизить издержки и на разработку приложений, и на обеспечение высокой производительности кластеров.

Анна ХАРИТОНОВА, начальник отдела бизнес-анализа Центра программных решений, «Инфосистемы Джет»: В области работы с большими объемами данных есть два подхода: структурировать по максимуму то, что поддается структурированию, или же просто сохранять все имеющиеся данные. Эти варианты предполагают применение разных технологий. Если говорить про структурирование, то я бы посоветовала воспользоваться референсными моделями, которые уже давно разработаны для всех основных отраслей крупными интеграторами и консалтинговыми компаниями.

Р. БАРАНОВ: Переход к аналитике «больших данных» – процесс поэтапный. Сначала нужно понять, какую информацию бизнесу будет полезно анализировать, и начать ее аккумулировать. После этого надо определить, какие конкретно бизнес-результаты вы хотите получать, имея аналитику на руках. Так, если ритейлер или банк задается целью определения сценариев поведения клиентов, то он должен уметь ими пользоваться, например, выработать бизнес-правила формирования персональных предложений для каждого такого сценария.

Оливье КЕССОН, коммерческий директор, Orange Business Services в России и СНГ: В современных компаниях уже внедрены такие элементы базовой аналитики, как стандартные средства формирования отчетности и отслеживания показателей, которые помогают получить достоверные и точные данные о текущих процессах и состоянии компании. Это необходимая часть работы с данными, но сегодня ее недостаточно.

Нужна также упреждающая аналитика, подразумевающая сегментацию, статистический анализ или анализ чувствительности для повышения производительности в будущем. На этом уровне необходимо использовать более широкий набор данных и делать более сложные выборки. Однако упреждающую аналитику можно внедрить и на уровне традиционных BI-систем, подключая к ним больше источников данных.

Совершенно иных подходов требует аналитическое прогнозирование. В их числе прогнозное моделирование и симуляция, позволяющие получить более широкую аналитическую картину и прогнозы, т.е. методы опираются на более производительные и гибкие системы аналитики класса Big Data.

«ИКС»: Как оценить эффективность внедрения решений в области бизнес-аналитики и обработки больших объемов данных?

А. ХАРИТОНОВА: Есть несколько методик оценки. Самая простая и наиболее часто использующаяся – сравнение трудозатрат на подготовку отчетов и поиск нужной информации. С появлением специализированных систем они уменьшаются в разы. Кроме того, повышается качество самой отчетности за счет снижения роли человеческого фактора.

Р. БАРАНОВ: Критерии эффективности любого внедрения определяются для каждого проекта индивидуально, с участием заказчика. Например, в «М.Видео» миграция на новую платформу позволила почти в 100 раз ускорить составление отчета по товарному балансу, упростить процессы предоставления информации внешним аудиторам и повысить эффективность расчета потребности в товарах. По нашему опыту, можно достичь и сокращения операционных затрат, и увеличения выручки, и повышения конкурентоспособности бизнеса, или просто «удержания на плаву» в условиях кризиса. А в еще одном нашем проекте уменьшение количества безбилетников на 1% в год полностью окупает внедрение системы бизнес-аналитики, включая видеоаналитику, управление кассовыми окнами и автоматами для печати чеков на станциях.

А. БЕДНОВ: Наверное, единых критериев для оценки результативности проектов в сфере Big Data не существует. Для каждого проекта и заказчика эффективность будет измеряться индивидуальными показателями. Но есть хороший способ оценить результаты внедрения – запуск пилотных проектов. При этом компания-заказчик должна понимать, что серьезную оценку результатов можно сделать не мгновенно, а лишь спустя несколько месяцев после старта «пилота». Этого срока достаточно для того, чтобы оценить первые результаты, сложности, а также собственные силы и необходимость привлечения ИТ-подрядчика.

В. ДЕДЮХИН: Любая обрабатываемая информация должна приносить дополнительную ценность для компании, поэтому эффективность решения определяется размером дополнительной прибыли, получаемой компанией в результате внедрения и эксплуатации решения.

Эффективность может определяться разными характеристиками обработки информации, но решения, не приносящие дополнительной ценности (включая те, которые компания не в состоянии использовать для получения дополнительных доходов), бессмысленны.

К сожалению, бывает, что компании мало задумываются об этом, поэтому BI-системы и средства анализа «больших данных» часто представляют собой чисто технические решения, далекие от бизнес-задач и ориентированные, скорее, на «красоту» построенных моделей, чем на понимание бизнес-модели компании и оценку связанных с нею рисков.