El NPS y la ley de Campbell: cuando la métrica y la meta se confunden
Toda medida convertida en fin en sí misma es una mala medida.
Empezamos presentando tres escenarios muy dispares en su naturaleza, importancia, lugar y momento.
1969. La opinión pública de Estados Unidos está conmocionada por lo que en adelante va a ser conocido como la matanza de My Lai. El año anterior, en la aldea vietnamita de ese nombre, centenares de civiles desarmados, incluidas mujeres, niños y ancianos, han sido asesinados por tropas estadounidenses; una ejecución masiva prolongada durante horas y solo interrumpida por la intervención de la unidad de helicópteros. El análisis de esta atrocidad no puede ser monocausal, pero se ha señalado que el oficial al mando pudo estar buscando la promoción de su pelotón aumentando su cifra de enemigos abatidos. La “política de eficiencia” de EEUU en Vietnam ligaba el éxito de las operativas a la cantidad de bajas producidas en el bando contrario: en la práctica, animaba a contabilizar como enemigos a campesinos no combatientes. Fue el secretario de Defensa Robert McNamara quien instauró una estrategia basada en análisis cuantitativos, dando por sentado que maximizar el número de muertes en el bando contrario y minimizar las propias garantizaba la victoria final. Incurriendo en la hoy llamada “falacia de McNamara”, factores difíciles de medir, como el sentir de la población nativa en una situación de guerra de guerrillas eran sencillamente eliminados del análisis. En 1975, a pesar de ser abrumadoramente superior en todos sus indicadores, Estados Unidos dio por perdida la guerra de Vietnam y se retiró del país.
2007. Las compañías aéreas de todo el mundo miden y notifican su puntualidad utilizando, entre otras, medidas como la “hora de salida”. Toda la organización trabaja para ajustarse al indicador: retrasos e incumplimientos en la hora de salida pueden conllevar penalizaciones del aeropuerto o del espacio aéreo. A su vez, la aerolínea puede repercutir estos costes, dependiendo del caso, a proveedores y operadores o -a través de la medición de objetivos internos- a sus propios directivos y empleados. Pero la hora de salida no marca exactamente el momento en que el avión despega. En general, con variantes según terminología y normativa vigente, denota el momento en que todo el pasaje está dentro de la nave, las puertas de embarque se cierran y el avión empieza a moverse por la pista. Si entre ese instante y el despegue transcurre, por ejemplo, media hora, esos minutos no computarán como retraso en salida ni podrán ser legalmente reclamados. En casos extremos, como el de este vuelo de American Airlines en el año 2007, los pasajeros han llegado a pasar más de siete horas encerrados dentro del avión antes de que éste despegara.
2021. Estás al teléfono hablando con el operador de tu compañía telefónica. La gestión se ha resuelto sin dificultades importantes. Para terminar, tu interlocutor te pide que respondas una encuesta. Justo antes de empezar, dice: “Por favor, si está satisfecho, tenga en cuenta que la empresa solo valorará positivamente el servicio si marca una puntuación de 9 o 10”. Habías pensado poner un ocho porque tienes la costumbre de no dar la puntación máxima salvo que concurran circunstancias realmente extraordinarias y en este caso, aunque todo ha estado bien, un “notable” te parece lo adecuado. O te lo parecía antes de la indicación del operador. Ahora tienes que decidir si das una calificación que no corresponde con tu sentir o perjudicas a la persona que te ha atendido porque en su empresa solo consideran positivas las puntuaciones máximas.
Todas estas situaciones, de gravedad obviamente dispar, podrían servir de ejemplo de la tendencia general que expresó el psicólogo estadounidense Donald Campbell en la “ley” -lo es en el sentido que suele tener el término en ciencias sociales- que lleva su nombre.
Ley de Campbell: la corrupción altera la medida
Donald Campbell se interesaba, entre otros campos, por la educación. Sostenía que los alumnos de colegios y universidades no aprenden las asignaturas, sino a pasar de curso, lo que no es necesariamente lo mismo. Instrumentos como calificaciones y exámenes, para Campbell, quedan así desvirtuados y alejados de su propósito original. En un artículo de 1979, Campbell generalizó su idea: “Cuanto más importante sea un indicador cuantitativo para la toma de decisiones [por parte de organizaciones, gobiernos o individuos], más se pervertirá y se hará más proclive a distorsionar y corromper los procesos sociales que debía monitorizar”. Desde este punto de vista, podemos entender como, en ausencia de controles para mitigar el efecto, soldados en una guerra cuya promoción depende del recuento de bajas pueden sentir la tentación de inflar ese número de la peor manera posible. Esto ocurre cuando la cifra -en este caso o cualquiera de los otros ejemplos- se convierte en una prioridad en sí misma para la organización y los individuos que la forman, y queda desvinculada, en la práctica, del objetivo general para el que se instauró.
Otros autores han apuntado en la misma dirección. A partir del trabajo del economista Charles Goodhart se ha establecido: “Cuando una medida se convierte en un fin en sí misma, deja de ser una medida útil”. Jeff Sauro, estadístico especializado en la cuantificación de la usabilidad, aporta este corolario: “La mala gestión conduce a malas mediciones”. En particular, Sauro y su colaborador Jim Lewis se han preguntado cómo el “efecto Campbell” afecta a una de las medidas más populares del momento: el índice NPS.
El Net Promoter Score: qué es y cómo trampearlo
El NPS probablemente es el constructo numérico más utilizado por las empresas para estimar la satisfacción y lealtad de sus clientes. El tercer ejemplo que abre este artículo, en el que un operador telefónico trata de sesgar al cliente en la contestación de una encuesta -una situación real y relativamente frecuente- se basa en el uso del NPS.
Lo cierto es que, en encuestas y similares, cualquier indicador puede ser vulnerable a la ley de Campbell. Pongamos la típica escala de satisfacción de cinco categorías: “muy insatisfecho”, “algo insatisfecho”, “ni satisfecho ni insatisfecho”, “satisfecho”, “muy satisfecho”. Solo hace falta que la cifra esté vinculada a la retribución económica de la persona calificada o, en términos de Campbell, que sea importante para la toma decisiones relacionadas con ella, para que, así incentivada, esa persona convierta la puntuación en su prioridad, tratando de “mover la aguja” en su favor, ya sea de forma legítima (dando el mejor servicio posible) o ilegítima (presionando con más o menos sutileza a los clientes para que le den puntuaciones favorables).
En cualquier caso, el índice NPS tiene peculiaridades que podrían hacerlo especialmente proclive a estas distorsiones. Como sabemos, el NPS, saldo neto de promotores, se basa en una escala de once valores que van desde el cero hasta el 10. Los valores 10 y 9 se consideran de “promotores”, es decir, clientes tan satisfechos que probablemente defenderán y recomendarán nuestro producto o compañía a sus amigos y conocidos. Los valores del 0 al 6 se consideran propios de “detractores”, clientes insatisfechos que seguramente hablarán mal de ella. Por último, los valores 7 y 8 se consideran neutros y no se tienen en cuenta en un sentido ni en otro. El saldo, es decir, la puntuación NPS, se basa en la resta de puntos “promotores” menos “detractores”.
Hay mucha literatura y controversia en torno al NPS. Tal como apunta Jeff Sauro, el índice cuenta tanto con entusiastas defensores (entre ellos su autor, Frederick Reichheld, que lo presenta como “el único número que tienes que hacer crecer”), como con furibundos detractores, que han llegado a calificarlo de “científicamente defectuoso” e incluso “astrología”, un estado de cosas que Sauro describe como “sectario”, en que en uno y otro bando parece primar más la emoción que la racionalidad. No es el propósito de este artículo hacer una revisión profunda, ni mucho menos una enmienda a la totalidad del NPS, una métrica que, por otra parte, goza de una enorme difusión en empresas de todo el mundo y que, bien utilizada, puede cumplir su propósito. El problema consiste en que, precisamente debido a su éxito y difusión en todos los ámbitos, en algunas situaciones no se use bien.
En el funcionamiento del NPS, no solo las puntuaciones de siete y ocho no “mueven la aguja” en ningún sentido, sino que un seis resulta tan desfavorable como un uno o un cero. Aunque a priori resulta chocante, el creador, Reichheld, argumenta que, según su análisis, solo puntuaciones extremadamente positivas predicen una auténtica fidelidad a la marca. Esto sugiere de inmediato dos consideraciones:
- El NPS está concebido para medir la probabilidad de que los clientes recomienden el producto, servicio o empresa. Esta es su función. Es cierto que dimensiones como la “satisfacción” de clientes y usuarios correlacionan con el NPS, pero pueden no ser exactamente lo mismo. Medir la satisfacción de la misma manera que la diferencia de promotores y detractores puede ser engañoso, ya que el hecho de que alguien esté satisfecho con algo no significa necesariamente que tenga previsto recomendarlo. Todavía más equivocado es extender ese funcionamiento a otros indicadores, como la evaluación del desempeño de las personas, bonus de empleados y demás.
- El “comportamiento interno” del indicador no fue pensado para ser comunicado al cliente. Si, como defiende F. Reichheld, consideras que solo las máximas puntuaciones son realmente favorables, es legítimo que uses así el marcador, pero esto si se lo trasladas al cliente, estás contaminando la medida. Ítem más: si tus empleados son medidos de esta forma, y lo saben, ellos mismos sufrirán el sesgo y lo transmitirán a los clientes.
Lo grave es que, en realidad, no hablamos únicamente infracciones individuales. Las propias compañías incurren en ellas de manera abierta, muchas veces tan oficial como que aparece en sus publicaciones, y, por tanto, inoculándolas a su propia cultura corporativa y, así, a los individuos que la forman. La siguiente imagen es una captura de pantalla real de la empresa Naturgy.
Este ejemplo, encontrado sin esfuerzo por el autor, incurre en los dos errores: en primer lugar no solo pregunta (correctamente) por la probabilidad de recomendaciones futuras, sino que (incorrectamente) usa el mismo método para obtener la satisfacción. Es decir, a efectos de satisfacción, tanto da que el usuario aborrezca la web hasta el punto de ponerle un cero, o que la considere correcta o ligeramente mediocre y la puntúe con un cinco o un seis. Ya hemos dicho que este no es el propósito original NPS. Pero, además, en un intento por paliar este efecto, la encuesta trata de guiar al usuario dejándole claro, mediante el uso de iconos y colores, a qué categoría corresponde cada número. Esto no entra en modo alguno en las recomendaciones del creador de NPS y constituye una manipulación no demasiado diferente del recordatorio/ consejo: “si está contento, póngame un nueve o un diez”. Por ignorancia o por interés, la compañía se hace trampas al solitario alterando su propia medición. Allá donde esté, Donald Campbell debe de estar observándonos con atención.
Respecto al NPS, el propio Fred Reichheld se declara horrorizado por el uso “fraudulento” de su creación y afirma que cuando presentó la fórmula “no tenía ni idea de la manera en que la gente iba a retorcer el indicador en favor de sus propios intereses egoístas”.
Entonces, ¿qué hacemos?
En el artículo que ha inspirado en buena medida este texto, Jeff Sauro resume las estrategias que se pueden seguir para mitigar el efecto de la ley de Campbell en el uso de NPS. Las comentamos a continuación:
- Dejar de medir. Sauro distingue aquí en realidad dos aproximaciones, tan parecidas que yo las unifico en una sola: dejar de medir en absoluto, o seguir midiendo, pero haciendo caso omiso de los resultados. No parece el curso de acción más recomendable, aunque, en ocasiones, se siga de facto e incluso en algunos ámbitos de pedagogía e intervención social haya podido ser defendido desde planteamientos teóricos.
- Cambiar la medida. Por ejemplo, pasar de NPS a (de nuevo) la satisfacción del cliente recogida con una escala “clásica”. Si bien puede haber argumentos para, de vez en cuando, cambiar la forma de medir en general, y puede haber discusión sobre hasta qué punto NPS es adecuado o no, desde el punto de vista de la degradación por efecto de la ley de Campbell ya hemos dicho que cualquier cuantificador puede presentar los mismos problemas.
- Mejorar la gobernanza. Esto es, atendiendo al corolario de Sauro y Lewis, asegurar, mediante una buena gestión que las mediciones se hagan de forma correcta.
Esta tercera estrategia es la que defiende Sauro. Es la que podemos observar, por ejemplo, cuando al valorar en persona el servicio que hemos recibido en un establecimiento, el terminal que recoge nuestra puntuación nos informa de que la persona que nos ha atendido no va a tener acceso a la misma: se trata de una manera de evitar sesgos, ya que estos aparecen con más facilidad en interacciones cara a cara. Sauro recopila otras posibilidades: realizar auditorías internas para detección de fraude o mal uso de los sistemas de recogida de información, instruir adecuadamente a los clientes para que no acepten presiones, utilizar terceras personas o compañías para prevenir la manipulación, etc.
Por mi parte, añado una consideración en la que, visto lo visto, vale la pena incidir. Resulta fundamental que la organización conozca y sepa utilizar los indicadores elegidos, sean estos NPS o cualesquiera otros. En el caso de NPS, precisamente por las peculiaridades que lo hacen diferente de otras métricas, es preciso asegurarse de que realmente lo entendemos y de que lo estamos utilizando correctamente y en las situaciones para las que fue creado. Con ese ánimo ha sido escrito este artículo y con ese ánimo lo cierro con una pequeña compilación de materiales para profundizar.
Para saber más: cinco artículos sobre NPS
- “The One Number You Need to Grow”. Frederick Reichheld, 2003. Aquí empezó todo. El artículo fundacional con la presentación de la métrica por parte de su creador, Fred Reichheld.
- “10 Things to Know About Net Promoter Scores and the User Experience”. Jeff Sauro, 2012. Alrededor de una década después, con el éxito de NPS, Jeff Sauro escribe una introducción sobre la métrica y su relación con la experiencia de usuario.
- “Net Promoter Score Considered Harmful (and What UX Professionals Can Do About It)”. Jared Spool, 2017. Una de las voces más críticas con NPS desde el ámbito de la UX.
- “The Dubious Management Fad Sweeping Corporate America”. Khadeeja Safdar e Inti Pacheco, 2019. Un resumen en The Wall Street Journal (artículo de pago) que se hace eco de la evolución del marcador y de críticas como la de Jared Spool.
- “Campbell’s Law and the Net Promoter Score”. Jeff Sauro y Jim Lewis, 2021. El artículo que en buena medida ha originado este. Sauro y Lewis analizan el efecto de la ley Campbell en NPS y otros indicadores.
