Cómo las empresas pueden medir el éxito de IA con KPI

Definir los KPI de la IA

Una de las métricas clave en el aprendizaje automático es el error cuadrático medio (MSE). Los cursos de aprendizaje automático suelen introducir esta fórmula como parte de su plan de estudios. El aspecto positivo del MSE es que exagera el impacto de los resultados atípicos, lo que puede conducir a un rápido aumento de la eficiencia de la máquina. Los únicos inconvenientes son que es menos eficaz para reducir los pequeños errores o para medir la eficacia en repetidas iteraciones de aprendizaje.

Los KPI existentes que tienen relevancia empresarial y de TI también se aplican a los proyectos de IA. Los KPI típicos relacionados con la IA incluyen el tiempo medio de reparación (MTTR), o el tiempo que se tarda en solucionar un problema, y la tasa de resolución en el primer contacto (FCRR), que indica qué porcentaje de problemas son resueltos por el soporte de TI de nivel 1 (soporte básico) sin necesidad de escalar. Además, el número de tiquets que recibe un equipo de TI al mes es una métrica tangible.

Las métricas indirectas, que suelen derivarse de las métricas más directas, incluyen la satisfacción del cliente, la puntuación neta de los promotores y el costo total de propiedad. Aunque las métricas indirectas son importantes, es esencial que las métricas directas y observables sean la base de cualquiera de estas métricas secundarias.

Cómo miden los KPI el éxito de la IA

Los KPI relacionados con la IA ayudan a las empresas a medir el éxito de la IA demostrando en última instancia un retorno de la inversión (ROI) concreto. El ROI puede expresarse como tiempo, dinero o trabajo. La mejor práctica sería utilizar la métrica más directamente observable y medible y luego traducirla a cualquier otra métrica según sea necesario.

El ROI se suele medir en tiempo; más concretamente, en cuánto tiempo se tardaría en ganar la misma cantidad de dinero invertida en una iniciativa de IA. Imagínese una organización que invierte 200.000 dólares en una iniciativa de IA y luego mide una reducción del 20 % en el MTTR, por ejemplo. Dado que tiene 20 miembros del personal que utilizan la herramienta con una tasa de trabajo cargada combinada de 2 millones de dólares al año, esta reducción de costos del 20 % sería de 400.000 dólares al año. Dado que se necesitó la mitad de ese tiempo (6 meses) para obtener 200.000 dólares, ese es el ROI.

Otro buen ejemplo es una empresa de servicios administrados. En una empresa típica de servicios gestionados, el FCRR está en torno al 65 %. En concreto, por cada 100 llamadas que entran, 65 de ellas son resueltas por la persona que atendió inicialmente la llamada, que es un ingeniero de primer nivel de menor costo. Esto indica que las otras 35 llamadas tendrían que ir a un especialista para su resolución.

Esta situación añade tiempo y costo a la resolución, ya que los ingenieros de segundo nivel que tienen que atender estas llamadas tienen salarios significativamente más altos. Las empresas que implementan la IA para ayudar a los ingenieros de primer nivel a gestionar más llamadas pueden aumentar las tasas de resolución en el primer contacto hasta un 80 %, reduciendo tanto el MTTR como el FCRR.

El éxito de la IA debería ser un éxito para todos. En primer lugar, las empresas miden el éxito directamente, con métricas que son observables y medibles. A continuación, miden los beneficios cualitativos de forma indirecta tras determinar algunos KPI directamente medibles. Aunque hay métricas técnicas alineadas con la IA, como el error medio al cuadrado, las métricas clásicas de TI y de negocio, como el MTTR, el FCRR y el costo por tiquet de solución de problemas de TI, suelen ser más relacionables.