ModelOps: Cómo poner en funcionamiento el ciclo de vida del modelo

ModelOps es la forma en que los modelos analíticos se transmiten desde el equipo de ciencia de datos al equipo de producción de TI en una cadencia regular de implementación y actualizaciones. En la carrera por obtener valor de los modelos de IA, es un ingrediente ganador que solo unas pocas empresas utilizan.

Cada vez más, las organizaciones recurren a modelos de aprendizaje automático (ML) para convertir grandes volúmenes de datos en información y conocimientos nuevos. Estos modelos de ML no están limitados por la cantidad de dimensiones de datos a las que pueden acceder de manera efectiva y utilizan grandes cantidades de datos desestructurados para identificar patrones con fines predictivos.

Presentamos... ModelOps

Pero el desarrollo y la implementación de modelos son difíciles. Solo alrededor del 50 % de los modelos llegan a producción, y aquellos que lo logran tardan al menos tres meses en estar listos para su implementación. Este tiempo y esfuerzo equivalen a un coste operativo real y también significan que se tarda más en obtener valor.

Todos los modelos se degradan y, si no se les presta atención periódicamente, el rendimiento se resiente. Los modelos son como los automóviles: para garantizar un rendimiento de calidad, es necesario realizar un mantenimiento regular. El rendimiento del modelo depende no solo de la construcción del modelo, sino también de los datos, el ajuste, las actualizaciones periódicas y el reentrenamiento.

ModelOps permite trasladar modelos del laboratorio a la validación, prueba y producción lo más rápido posible y al mismo tiempo garantizar resultados de calidad. Permite administrar y escalar modelos para satisfacer la demanda y monitorizarlos continuamente para detectar y corregir signos tempranos de degradación. ModelOps se basa en principios DevOps de larga duración. Es imprescindible para implementar análisis predictivos escalables. Pero seamos claros: las prácticas de desarrollo de modelos no son las mismas que las mejores prácticas de ingeniería de software. La diferencia debería resultar más clara en el resto de esta lectura.

Medición de resultados de principio a fin

Para dar un primer paso en ModelOps, es necesario supervisar el rendimiento de su programa ModelOps. ¿Por qué? Porque ModelOps representa un ciclo de desarrollo, prueba, implementación y monitorización, pero solo puede ser efectivo si avanza hacia el objetivo de proporcionar la escala y la precisión que requiere una organización.

Es necesario determinar, al más alto nivel, la eficacia del programa ModelOps. ¿La implementación de prácticas de ModelOps ayudará a lograr la escala, la precisión y el rigor del proceso que la organización necesita?

En ese caso, a nivel operativo, es necesario monitorizar el rendimiento de cada modelo. A medida que se degraden, será necesario volver a capacitarlos y redistribuirlos. A continuación se presentan algunas consideraciones a tener en cuenta al crear un cuadro de mandos de rendimiento:

• Para los modelos (o clases de modelos), es clave establecer objetivos de precisión y realizar un seguimiento de estos durante el desarrollo, la validación y la implementación para dimensiones como la deriva y la degradación.
• Identificar métricas de negocio afectadas por el modelo en operación. Por ejemplo, ¿un modelo diseñado para aumentar los suscriptores tiene un efecto positivo en las tasas de suscripción?
• Realizar seguimiento de métricas como el tamaño de los datos y la frecuencia de actualización, las ubicaciones, las categorías y los tipos. A veces, los problemas de rendimiento del modelo se deben a cambios en los datos y sus fuentes y estas métricas pueden ayudar en la investigación.
• Supervisar la cantidad de recursos informáticos o modelos de memoria que consumen.

En relación con las métricas, la validación del modelo es una base importante de ModelOps. Algunos usan validación y verificación indistintamente, pero su intención es diferente.

La verificación confirma que un modelo se implementó correctamente y funciona según lo diseñado. La validación garantiza que el modelo proporcione los resultados que debería, en función de los objetivos fundamentales del modelo. Ambas son prácticas recomendadas importantes en el desarrollo e implementación de modelos de calidad.

Tres problemas comunes abordados mediante un enfoque ModelOps

Los modelos pueden degradarse en cuanto se implementan (a veces en cuestión de días). Por supuesto, hay cosas que afectarán al rendimiento de sus modelos más que otras. A continuación se presentan algunos problemas comunes que es casi seguro que encontrará.

Calidad de los datos

Los cambios sutiles o las modificaciones en los datos que podrían pasar desapercibidos o tener un efecto menor en algunos procesos analíticos tradicionales pueden tener un efecto más significativo en la precisión del modelo de aprendizaje automático.

Como parte de sus esfuerzos de ModelOps, es importante evaluar adecuadamente las fuentes de datos y las variables disponibles para que las usen sus modelos, para responder:

• ¿Qué fuente de datos se utilizará?
• ¿Puedes decirle cómodamente, a un cliente que se tomó una decisión basada en esos datos?
• ¿La entrada de datos supone un incumplimiento directo o indirecto de alguna regulación?
• ¿Cómo está abordado el sesgo del modelo?
• ¿Con qué frecuencia se agregan o modifican nuevos campos de datos?
• ¿Se puede replicar la ingeniería de funciones en producción?

Es hora de la implementación

Debido a que el ciclo de desarrollo/implementación del modelo puede ser largo, primero se debe evaluar cuánto dura ese ciclo para la organización, y luego establecer criterios de referencia para medir la mejora. Divide el proceso en pasos discretos, luego mide y compara proyectos para identificar las mejores y las peores prácticas. Considera también un software de gestión del modelo que pueda ayudar a automatizar algunas actividades.

Degradación

Mantente alerta ante cuestiones como la desviación y el sesgo. La respuesta a estos problemas es crear un enfoque sólido para modelar la gestión en la organización. Si todos, desde los desarrolladores de modelos hasta los usuarios de negocio, se responsabilizan del estado de sus modelos, estos problemas se pueden solucionar antes de que afecten sus resultados.

Cuándo actualizar los modelos

El aspecto más difícil del aprendizaje automático es implementar modelos y mantener la precisión. Significa buscar siempre datos más nuevos y mejores para alimentarlos y mejorar la precisión.

¿Existe un cronograma estándar que se pueda establecer para volver a entrenar los modelos que están por debajo de los umbrales de precisión? La respuesta es simple: no. ¿El motivo? Una razón es que los modelos se degradan a diferentes velocidades. Otra es que la necesidad de precisión es relativa a lo que se intenta lograr. Por ejemplo, cuando el riesgo de una predicción inexacta es costoso o peligroso, puede ser necesario que las actualizaciones del modelo sean continuas.

Por eso es importante comprender los niveles de precisión de los modelos monitorizando los resultados y las propias mediciones de precisión.

El peligro de ignorar ModelOps

La potencia predictiva de estos modelos, en combinación con la disponibilidad de big data y el creciente poder de cálculo, seguirá siendo una fuente de ventaja competitiva para las organizaciones inteligentes. Aquellos que no adopten ModelOps se enfrentarán desafíos cada vez mayores para escalar sus análisis y no podrán competir con ellos.