Действовать как лидер рынка

Что особенного знают компании Netflix, Airbnb, Spotify и Lyft, чего не знаете вы? Что есть у них, чего вам может не хватать?

Безусловно, у них была идея. Но у всех нас бывают хорошие идеи. Как же они смогли реализовать затею, совершив настоящий прорыв в своей отрасли?

Каждой из этих компаний потребовалось сочетание сильной технологической и аналитической экспертиз для того, чтобы создать цифровую платформу, которая превратила данные в ключевой актив компании.

Теперь вы можете подумать: «Но мы тоже занимаемся аналитикой. У нас есть команда смышлёных дата-сайентистов. Мы знаем новейшие методы машинного и глубокого обучения, и мы даже посещаем лучшие аналитические конференции».

Однако, есть разница между аналитической и технологической зрелостью. Компании-лидеры рынка являются как аналитически, так и технологически зрелыми.

Такие организации не просто знают, как строить модели и использовать алгоритмы. Они также понимают, как создавать полноценную экосистему вокруг кода машинного обучения. Они знают, как быстро и эффективно внедрить в бизнес тысячи моделей, как масштабировать их применение и как систематически валидировать, отслеживать, улучшать и заменять модели.

Многие традиционные компании являются аналитически зрелыми, но не технологически.

Если вы делаете большую работу в части сбора и анализа данных, но в результате эти наработки не можете применить для решения бизнес-задач в нужных масштабах, вам повезло: я поделюсь с вами тремя актуальными рыночными трендами, которые позволяют даже самым традиционным компаниям продвинуться в направлении операционализации аналитики. Речь идет о следующих трендах:

1. Интеллектуальная подготовка данных.
2. Контейнеры для аналитики.
3. ModelOps для машинного обучения.
   

Объединение этих трех технологических трендов может изменить методологию работы с данными и аналитикой. Таким образом, вы тоже сможете работать по тем же принципам, как и лидеры рынка.

Интеллектуальная подготовка данных

В данных всегда есть проблемы. Дата-сайентисты все еще тратят много времени на приведение данных в нужный вид. Сложность данных тоже растет. Каким образом нужно работать с данными, которые стали более сложными? Что если рассматривать задачи управления данными как задачи, которые решаются с помощью ИИ?

Интеллектуальная подготовка данных использует алгоритмы ИИ, чтобы найти в них тренды, скрытые закономерности и привести для них релевантный контекст.

В настоящее время подготовка данных для обучения, как правило, является ручным процессом, требующим маркировки со стороны аналитика. Вы берете часть данных или изображения и добавляете метаданные. Например, указываете, что на этом изображении находится кот, на этом – собака, а это – амбар. Вы делаете маркировку данных, создавая витрину для обучения. В случае обработки трехмерных изображений, например на производстве, вы указываете, где располагается лист фанеры, где находятся углы этого листа, приводите его измерения.

Вместо того, чтобы тегировать и маркировать данные вручную, интеллектуальная подготовка данных решает эти задачи в автоматическом режиме. В своей работе она использует алгоритмы обучения с подкреплением. Также она может использовать результаты работы других моделей, запуская на этом основании процедуру перетренировки. Речь идет о непрерывном процессе обучения модели, основываясь на принимаемых ранее решениях.

Интеллектуальная подготовка данных не ограничивается областью обработки изображений. Она может пригодиться для задач работы с потоковыми данными и данными из корпоративного хранилища, управления мастер-данными и для других задач. Она может объединять данные, полученные из различных источников, выполнять очистку данных и делать сложные комбинации между потоковыми и историческими данными из хранилища. Все это автоматически.

Лидеры рынка уже реализовали эту идею в собственных процессах. С помощью интеллектуальной обработки данных (например, абонентского трафика, транзакций клиентов, потоковых данных и др.) они вырабатывают тысячи бизнес-решений каждый день.

Контейнеры для аналитики

В мире ИТ контейнеры являются одной из самых востребованных технологий для развертывания программного обеспечения в облачных средах. Они отлично вписываются в концепцию, которой любят руководствоваться ИТ-специалисты для тестирования и интеграции программного обеспечения. Эта концепция позволяет быстрее внедрять софт, облегчает его обновление и упрощает процесс управления пакетами программного обеспечения. Вы можете использовать преимущества новых версий без необходимости выполнения трудоемкого апгрейда.

Для поставщиков программного обеспечения контейнеры упрощают внедрение новых пакетов и интеграцию с другими пакетами, способствуют автоматизации процессов, в частности позволяют выполнять гибкую настройку приложений под меняющуюся нагрузку и многие другие технические требования.

Контейнеры способствуют демократизации использования углубленной аналитики и снижают барьер на пути к новым программным продуктам. Они позволяют легко имплементировать программное обеспечение в тот момент, в который оно вам потребуется. Вы можете экспериментировать с новыми алгоритмами и новыми методами без лишних рисков и затрат.

Представьте, например, что вы разработали модель машинного обучения для задачи дополнительных продаж next-best offer. В случае появления нового алгоритма вы сможете его автоматически внедрить для решения этой задачи и направить через него 5% трафика. Затем, посмотрев на результат работы, сможете сделать вывод, работает ли он лучше, чем предыдущий алгоритм. Если новый алгоритм будет работать лучше, поток заявок по новому алгоритму можно увеличить до 10%, затем 25% и так далее, до полной замены используемой модели на новый алгоритм. Если, наоборот, результаты работы нового алгоритма будут хуже, то вы возвращаетесь к изначальному алгоритму.

Компании-лидеры рынка постоянно тестируют новые алгоритмы и таким образом запускают новые и совершенствуют текущие предложения. Это помогает им в непрерывном развитии клиентской базы. Технология контейнеризации поможет и вам продвинуться в этом направлении.

ModelOps для машинного обучения

У вас организован бесперебойный процесс передачи моделей, созданных командой аналитиков, в ИТ-подразделение, которое отвечает за эксплуатацию? Вы производите регулярные обновления и внедрения моделей? Как вы оцениваете деградацию качества работы моделей и какие в связи с этим принимаются действия? Все ли ваши модели, которые были разработаны, эксплуатируются в бизнесе?

ModelOps – это методика, которая охватывает процессы регистрации, валидации, тестирования и эксплуатации моделей в рамках единого регламента действий, повышая совокупную эффективность работы моделей. Она помогает управлять и масштабировать применение аналитических моделей для решения актуальных бизнес-задач, а также постоянно отслеживать качество этих моделей, чтобы своевременно реагировать на признаки ухудшения предиктивной силы.

В рамках использования методологии ModelOps, вы сможете внедрить больше моделей в бизнес, каждая из которых проходит следующие этапы:

• Данные: исследование и подготовка данных из централизованного и безопасного источника.
• Разработка новых моделей: создание моделей с учетом вводных, которые относятся к этапам мониторинга и эксплуатации.
• Регистрация моделей: сохранение модели и связанных с ней метаданных в универсальном репозитории.
• Интеграция моделей: повышение скорости внедрения моделей в бизнес, в том числе за счет плотного сотрудничества между дата-сайентистами и ИТ-специалистами.
• Мониторинг моделей:  постоянное отслеживание качества работы модели, перетренировка и замена моделей по мере необходимости.

Этот процесс организован таким образом, что позволяет непрерывно оценивать изменение статистических свойств данных и деградацию предиктивной силы модели. Он сокращает время внедрения новых моделей и обеспечивает регулярность обновления версий.

Методология ModelOps позволит вам конкурировать с лидерами рынка, которые уже идут по этому пути, осуществляя внедрения и мониторинг для тысячи своих моделей.

Работать как лидер рынка

Три технологических тренда, описанные выше, способствуют изменению методики работы с данными и управления аналитическими проектами. Если вы уже достигли высокого уровня аналитической зрелости, вы можете взять их в работу, чтобы стать технологически зрелыми. Данные советы помогут вам двигаться в нужном направлении:

1. Выберите задачу, в которой у вас постоянно возникают проблемы с управлением данными, и попробуйте решить их с помощью интеллектуальной подготовки данных.
2. Локализуйте наличие сложного ландшафта ПО и разнородного кода, а затем посмотрите, могут ли контейнеры помочь упростить вашу аналитическую инфраструктуру.
3. Изучите ваши существующие рабочие процессы в data science практике и обратите внимание на те действия, эффективность которых вы сможете повысить, реализовав универсальный регламент управления, развертывания и обновления моделей.
   

Впрочем, если ваша компания достигла высокого уровня технологической зрелости и у неё уже есть сильная ИТ-инфраструктура, но по направлению аналитики еще есть отставание, вы также можете получить выгоду этих трендов:

1. Подумайте, какие внешние источники данных вы сможете использовать, если применить интеллектуальную подготовку данных, и какие модели глубокого обучения вы сможете создать, если подойти к процессу работы с данными более интеллектуально.
2. Обратите внимание на применение контейнеров для аналитики, а не только для обычного ПО. Те же самые практики, которые вы изучили для непрерывной разработки и имплементации, помогут вам в работе с аналитикой.
3. Определите задачу, которую можно было бы решить эффективнее, управляя моделями как ценным корпоративным активом в рамках системного подхода. Начните экспериментировать с углубленной аналитикой, учитывая ваши разработки в части классического программного обеспечения.

Независимо от текущего уровня экспертизы в аналитике и ИТ в вашей компании, вы можете получить преимущества от использования выше описанных технологий.

Может показаться, что достигнуть цели сложно, но практика показывает, что задача вполне реалистична. Наблюдая за рынком, я видел примеры, когда объединяя аналитическую и технологическую экспертизы компании достигали впечатляющих результатов. Вы можете быть следующей такой компанией.

Опубликовано в Globalcio.ru