Потребность в обработке и хранении очень больших массивов данных постоянно возрастает. В связи с этим всё чаще можно услышать термин Big Data. Так что же это такое?
Методы по обработке и структурированию больших данных и называют Big Data. Мировой рынок Больших Данных прибавляет до 20% в год. Отражается эта мировая тенденция и на отечественных информационных технологиях. Big Data становится неким трендом, популярной темой среди it-специалистов и тех, чей бизнес сильно зависит от обработки большого количества информации. А таких всё больше. Среди наиболее восприимчивых к Big Data отраслей в России можно выделить:
- банки и ритейл — прежде всего для них важен анализ клиентской базы и оценка эффекта маркетинговых кампаний);
- телекоммуникации — здесь в приоритете монетизация трафика и сегментация клиентской базы;
- государственные структуры — ведение отчетности, анализ заявок от населения и обмен данными между подразделениями;
- нефте- и газодобывающие компании — планирование и мониторинг добычи и сбыта;
- энергетические компании — создание интеллектуальных электроэнергетических систем, оперативный мониторинг и прогнозирование.
Рынок Big Data в России только зарождается. Большинство российских компаний сейчас использует иностранные (в основном западные) решения в этой области. Основными провайдерами услуг в сфере Больших Данных на российском рынке являются Sap, Oracle, IBM, EMC, Microsoft, IBS, Cloudera, Hortonworks и Teradata.
Однако и отечественные компании постепенно накапливают собственные разработки в сфере Больших Данных.
Сбербанк
Выступление главы Сбербанка Германа Грефа на Всемирном фестивале молодежи и студентов в Сочи в октябре 2017 года стало в некотором роде знаковым для Big Data в России. Впервые руководитель такого высокого уровня заговорил с трибуны о Больших Данных и их внедрении.
«Мы долго общались с моим коллегой Джеком Ма (президентом китайской компании Alibaba Group — прим. ред.), и он говорит такую фразу: „Забудьте про IT, забудьте про информационные технологии, это вчерашний день, это "отстой"“», — рассказал Греф.
«Сегодняшняя экономика — это экономика данных. В этом смысле я с ним согласен. То, что касается диджитализации, — это последний тренд. И переход к этому тренду означает, что у нас в руках появились зрелые технологии, которые позволяют обрабатывать громадное количество данных. Технологии Big Data вошли в свою стадию зрелости и всем компаниям стали доступны», — добавил он.
Интерес Грефа к Big Data находится не только в теоретической плоскости, но и в сугубо практической. В частности, Большие Данные уже начали использовать в Сбербанке для оценки рисков. Правда, инновации внедряются не без заминок.
«Мы три года работали с регулятором для того, чтобы перейти на так называемый продвинутый подход в регулировании наших риск-взвешенных активов. Когда мы к этому подошли, поняли, что это нам не нужно, потому что, если мы перейдем, нам будет запрещено использовать неверифицированные модели. А у нас все модели сейчас переводятся на нейронные сети», — рассказал Греф.
Сбербанк сейчас очень активно привлекает специалистов по Big Data и сотрудничает с несколькими университетами: МФТИ, ФКН ВШЭ и МГУ.
Несмотря на всю свою объективную и субъективную заинтересованность в Big Data, Сбербанк условным лидером в этой области среди отечественных компаний назвать нельзя. А кого можно? Ответ лежит почти на поверхности.
Яндекс
Яндекс — это компания, которая стала работать с большими данными ещё «до того, как это стало мейнстримом» именно из-за специфики своего бизнеса.
Обработка веб-страниц с самого начала обязала компанию постоянно наращивать вычислительные мощности и совершенствовать алгоритмы обработки данных, ведь их объём в интернете возрастает с огромной скоростью. Он удваивается каждые 2 года.
Постепенно Яндекс начал добавлять к поиску всё новые услуги, за два десятилетия превратившись в того гиганта, которого мы знаем сейчас. Сегодня Яндекс — это настоящая корпорация, помимо поиска предоставляющая сервисы электронных платежей, заказа такси, доставки еды, музыки и многие другие возможности. 10 июля 2018 года в продажу поступила умная колонка «Яндекс.Станция» с искусственным интеллектом по имени Алиса. Все направления Яндекса сегодня так или иначе связаны с Big Data. В 2014 году компания создала экспериментальное подразделение «Yandex Data Factory», или сокращённо YDF, специализирующееся исключительно на больших данных.
«Анализ „Больших Данных“ с использованием машинного обучения — молодая и перспективная область», — говорит руководитель YDF Евгения Завалишина. — «Используемые алгоритмы Яндекс разработал для собственных нужд: поиска, прогнозирования пробок, таргетинга рекламы, составления музыкальных рекомендаций. Однако алгоритмы анализируют не „содержание“ данных, а взаимосвязи между ними, и поэтому могут применяться в любой отрасли».
В 2018 году Яндекс убрал экспериментальный статус у «Yandex Data Factory». Сейчас это уже международное B2B-подразделение компании, среди клиентов и партнеров которого Intel, AstraZeneca, ЦЕРН, Магнитогорский металлургический комбинат, Газпром нефть и Schlumberger.
Интересно, что Яндекс официально консультирует по Big Data уже упомянутый ранее Сбербанк.
Mail.ru Group
Крупнейшая IT-корпорация России Mail.ru, конечно, не могла остаться в стороне от нового информационного тренда. В 2016 году, на 2 года позже, чем Яндекс, Mail.Ru Group выделила в отдельное направление работу с Большими Данными.
В рамках направления «Большие Данные» Mail.ru предоставляет услуги по созданию предиктивных математических моделей, проведению маркетинговых исследований, консалтингу в области развития инфраструктуры и методологии работы с Big Data.
«Компания занимается анализом данных фактически с момента основания. Накопленная экспертиза и компетенции позволяют предоставлять услуги по анализу Big Data сторонним заказчикам вне зависимости от географии присутствия. Прежде всего это проекты, которые направлены на серьезное повышение эффективности процессов маркетинга и продаж, оптимизации производства, логистики, управления рисками, планирования, управления персоналом и другие рабочие процессы различных бизнесов. В этой связи было принято решение выделить эту работу в отдельное подразделение», — прокомментировал создание в компании направления «Большие Данные» Дмитрий Сергеев, заместитель генерального директора Mail.Ru Group.
В 2014 году на базе факультета ВМК МГУ имени М. В. Ломоносова был запущен образовательный проект «Техносфера Mail.Ru», в рамках которого сотрудники компании ведут курсы по машинному обучению и data-mining.
Big Data Key
Помимо старейших игроков рынка, существующих не одно десятилетие, тон развития отрасли начинают задавать и новые участники. С ростом популярности Big Data в России стали появляться компании, изначально специализирующиеся на Больших Данных.
Одним из наиболее ярких представителей «новой волны» на российском IT-рынке стала «Big Data Key». Сейчас компания заняла нишу по обслуживанию малого и среднего бизнеса.
«Постепенно интерес к работе с Большими Данными появляется не только у гигантов, вроде крупнейших банков и нефтедобывающих корпораций, но и у менее крупных компаний. Экономика России диджитализируется, при этом происходит ее сжатие. Поэтому возрастает конкуренция. Руководители ищут способы оптимизировать свой бизнес, начинают обращать внимание на новые инструменты в IT. Одним из них как раз является Big Data», — рассказывает директор Big Data Key Филипп Просандеев.
Компания «Big Data Key» начинала с того, что готовила так называемые «датасеты». То есть структурировала с помощью специального синтаксиса информацию для обработки нейронными сетями. Затем перешла уже к более серьёзным задачам вроде архивирования и анализа больших массивов данных.
Помимо «чистых» Больших Данных Big Data Key занимается несколькими направлениями в IT-сфере. Это и разработка сайтов, и интеграция CRM, и разного рода интернет-реклама, но Big Data постепенно всё больше проникает и в эти смежные области.
Итоги
В настоящий момент в России продолжается накопление объема информации до уровня Больших Данных. В России так же, как и во всём мире, наблюдается тренд на визуализацию информации, анализ медиафайлов и развитие «интернета вещей». Соответственно, становятся всё более востребованными инструменты для обработки и хранения Больших Данных.
Даже несмотря на общую стагнацию российской экономики, International Data Corp. прогнозирует, что к 2020 году объем Big Data в нашей стране вырастет с нынешних 1,8% до 2,2% от общемирового объема данных.
Компании, которые уже извлекли выгоду от использования Big Data, постепенно формируют новую среду для развития данных технологий. Речь здесь идёт как о тех, кто создаёт эти технологии, так и о тех, кто ими пользуется.
Максим Голиков