Рубрикатор |
Статьи | ИКС № 12 2014 |
Александра КРЫЛОВА  | 08 декабря 2014 |
Кто должен работать с «большими данными»
Для эффективной работы с «большими данными» мало внедрить оборудование и ПО, нужно еще найти специалистов, способных максимально эффективно использовать их возможности.
О том, что нужно знать о data scientists компаниям, которые собираются реализовывать такие проекты сегодня, говорилось на Big Data and Business Analytics Forum 2014.
Для отнесения того или иного реального или потенциального проекта к сфере «больших данных», считают в компании IDC, достаточно наличия у него хотя бы одного признака из известной триады: Velocity, Variety, Volume (скорость, разнообразие, объем). Организации стоит задуматься о внедрении технологий Big Data в случаях, если объем накопленных ею данных превышает 100 Тб или если он меньше, но данные собираются из множества разных источников и имеют разные форматы, или если данные, которые нужно обрабатывать на лету, поступают со скоростью 60 Гбит/с и выше. Еще один признак назревающего Big Data-проекта – объем данных в организации прирастает на 60% в год.
С 2012 г. оборот мирового рынка Big Data (включая аппаратное обеспечение, ПО и услуги) показал 30%-ный рост. Такие цифры на форуме привел Александр Прохоров (IDC). В 2014 г. рынок «больших данных» достигнет $16 млрд и до 2018 г. продолжит расти в среднем на 28% в год. Уже сегодня, как показал проведенный IDC опрос ИT-директоров и руководителей компаний, и провайдеры ИТ-услуг, и их потребители проявляют интерес к специалистам в области бизнес-аналитики и «больших данных». Около 30% респондентов – провайдеров услуг за последние 12 месяцев набирали персонал по этим направлениям, а 45% планируют подобный шаг на ближайший год. И все они признают, что испытывают недостаток аналитиков. Восполнить его берутся многие вузы в мире, в том числе российская Высшая школа экономики, которая, по словам А. Прохорова, открывает новую кафедру для подготовки таких специалистов совместно с компанией «Яндекс».
Однако, считает Андрей Себрант («Яндекс»), надо понимать, что технологии Big Data могут интегрироваться в бизнес-процессы компании двумя разными способами: вместе с человеком и вместо него. В последнем случае речь идет о замене аналитика, принимающего на основании моделей однотипные решения, алгоритмом машинного обучения, способным давать ответы на вопросы в режиме реального времени. «В целом ряде бизнес-процессов одна машина должна дать другой команду, например, какое рекламное объявление показать именно этому посетителю сайта, одобрить кредит заявителю или нет, – сказал А. Себрант, – и для этого нужен не высоколобый аналитик, а человек, который умеет писать API». А вот в случае когда руководителю компании требуется уникальное стратегическое решение, необходим глубокий специалист-аналитик. Иными словами, для каждого из этих способов интеграции Big Data в бизнес-процессы компании нужны люди с разными компетенциями.
В итоге, по мнению эксперта, в компаниях неизбежно будут заменены алгоритмами машинного обучения специалисты целого ряда профессий от лаборантов до искусствоведов или же содержание их деятельности серьезно изменится. В лучшем случае им придется учиться задавать вопросы (этого алгоритмы не умеют) вместо того, чтобы искать ответы.
Но пока далеко не каждый владелец бизнеса готов поверить алгоритму так же, как он доверяет человеку, особенно если знает его как высококлассного специалиста. И тут возможный вариант действий предложил Александр Аникин (Wikimart). Поскольку специалиста, обладающего прочными знаниями сразу в сфере бизнеса, математики и статистики, ИТ и программирования, найти сегодня сложно, нужно собирать команду людей с разными компетенциями, придавать ей статус отдельного подразделения и поручать ей функции бизнес-анализа.
Именно по этому пути пошли в Сбербанке России, когда создали в своей структуре отдельное исследовательское подразделение с R&D-бюджетом, лабораторией для исследований, суммарную память серверов в которой Алексей Винниченко (Сбербанк) оценил приблизительно в 2 Тб. В подразделении сложилась высококвалифицированная agile-команда, члены которой прошли годичное обучение в Школе анализа данных «Яндекса». Ее силами проводится в среднем 25 пилотных проектов в год, каждый из которых рассчитан не более чем на полгода, а восемь разработок уже внедрены в промышленную эксплуатацию. В качестве примера А. Винниченко привел проект, в ходе которого на основе исходных данных о 4,5 млрд карточных транзакций розничных клиентов и их анкетных данных аналитикам удалось выявить в массовом сегменте примерно 54 тыс. потенциальных премиум-клиентов, а также около 3 тыс. клиентов из премиального сегмента, готовых к оттоку.
Словом, «большие данные» таят в себе множество возможностей для бизнеса, и чтобы обнаружить и оценить их, требуются аналитики. Так что в ближайшее время их все-таки не стоит списывать со счетов.