La falacia de los indicadores que no miden lo que prometen.

Por Amalio Rey

Este tema se me atraviesa una y otra vez. No hace mucho tuvimos un largo debate en torno a este asunto mientras impartíamos un taller al equipo de Innobasque. En aquella ocasión prometí escribir un post sobre esto, y aquí estamos.

Nadie me verá demonizando los indicadores. Por si hay duda, dejaré bien claro que me encanta la estadística, que mi forma de pensar está muy influida por los datos, y que tengo claro que un análisis con rigor suele necesitar números. Esto es verdad tanto para el diseño de buenas políticas públicas como para la gestión de organizaciones, e incluso para la vida personal. Así que espero que nadie me acuse de frivolizar la grandeza de la estadística. De hecho, aviso que pronto voy a publicar un seriado sobre la importancia de desarrollar un adecuado pensamiento estadístico.

En esta entrada quiero airear mi frustración con los excesos pseudo-estadísticos. Ya sabéis que me dedico a una cosa incierta y gelatinosa que se llama "gestión de la innovación", así que podéis imaginaros la tensa relación que tengo con los datos en esta profesión, donde cuesta tanto medir todo y los indicadores que se manejan son mayoritariamente ambiguos.

Por ejemplo, en el ámbito de la innovación suele ser difícil (a veces imposible) desvelar con certeza las relaciones entre inputs y outputs, porque hay muchos otros factores, no controlados estadísticamente, que pueden influir en el resultado y ponen en entredicho cualquier pretensión de extraer conclusiones rotundas de un dato. La premisa básica de que "correlación no implica causalidad" suele obviarse por muchos fans de los indicadores en mi campo, y ya ni te digo por la prensa que se hace eco de las estadísticas.

Mi principal crítica tiene que ver con esa obsesión que tienen alguno/as de cuantificar lo cualitativo con ratios que no son fiables, ni pueden medir lo que prometen. La lógica que hay detrás de esto parece decir: " Necesitamos (nos piden) indicadores así que los vamos a tener, sean o no correctos ".

Los sistemas de calidad, y la propia "cultura de la calidad", han hecho mucho bien en los procesos de mejora continua de productos y servicios que responden a patrones estables, con referentes de excelencia técnica cuantificables. También para generar hábitos de documentar procedimientos y actividades que realmente lo necesitan. Pero su lado oscuro, la "burocracia-de-la-calidad", funciona a veces como una maquina perversa de parir datos, informes e indicadores que solo sirven para obtener normas y certificados, y generar una sensación falsa de control.

En contraposición al coleccionismo de datos e indicadores, lo que yo digo es que debe medirse sólo lo que pueda medirse con un grado razonable de fiabilidad. Creo que con esta afirmación podía terminar el post, pero voy a seguir aportando más argumentos.

Hay indicadores flipantes por lo bien que sintetizan problemáticas complejas; pero si sabes que los datos para calcular un indicador solo pueden obtenerse de mala manera, que el propio indicador es confuso y se presta a lecturas ambiguas, y que no tiene un rigor estadístico para extraer relaciones de causa-efecto, entonces no me hagas perder el tiempo con chorradas, y lo que es más grave, no se te ocurra sacar conclusiones de impacto basándote en esos datos como suele ocurrir cuando estos artefactos caen en manos de " metodólogos de salón " que los convierten en un fin en sí mismo.

Digo eso porque los números tienen un extraño efecto "validador" de cualquier propuesta que se haga, por descabellada que sea. A estas alturas doy por hecho que sabes que las estadísticas sirvan (y se manipulan) para avalar lo que haga falta. Así que lo mejor que podemos hacer es desarrollar un sano hábito de escepticismo al consumir datos e indicadores para tomar decisiones. Ahí van algunas ideas en esa línea:

1. Alguien dijo que la mayoría de los indicadores son como las salsas, que si te enteras cómo se han hecho, se te quitan las ganas de comértelas. Esto aplica sobre todo al examinar la forma en que se recogen los datos y cómo se ponderan las variables.
2. Interesan tanto los indicadores "de resultados" como los "de esfuerzo". Esto es importante porque a menudo los segundos no solo son más relevantes, sino también más fiables que los primeros. En muchos proyectos de consultoría en los que he participado me he dado cuenta que sólo podía medir bien el esfuerzo, lo que se invertía en el proceso, porque el resultado vendría a más largo plazo. Y si un determinado dato no captura con justicia, en espacio/tiempo, la calidad y eficacia de mi trabajo, entonces no voy a permitir que se me aplique.
3. El indicador puede tener un diseño estupendo, y tener todo lo que podemos pedirle a un cacharro de esos: sencillo, elegante y riguroso. Pero si usa datos que son difíciles de recoger y uno sabe que lo más probable es que esos inputs se recojan de aquella manera, entonces el indicador ya no me sirve. Cabe plantearse las mismas dudas si el procedimiento para la recogida de datos es pringoso, de esos que diseñan los consultores de salón por los que cobran mucha pasta y salen corriendo. Si el mecanismo de captura es engorroso, entonces eso termina viciando los datos. A veces es mejor usar un indicador deliberadamente incompleto, cuya interpretación maticemos por esa razón, que intentar uno tan perfeccionista que obligue a un proceso insufrible de recogida de datos que contamine la naturaleza de los mismos. En fin, aplicar sentido común: "garbage IN, garbage OUT" (basura entra, basura sale).
4. El diseño de buenos indicadores necesita de empatía. Primero hay que entender muy bien la complejidad del problema que se quiere medir, y cómo las personas (que son en última instancia el principal objeto de estudio en las organizaciones) van a interactuar con los datos. Por ejemplo, tendríamos que preguntarnos si ese indicador, por el tipo de información que quiere sintetizar y el modo en que se usará para la toma de decisiones, puede generar incentivos a distorsionar o manipular los datos. Esto ocurre bastante. Sin ir más lejos, el otro día, en un proyecto importante con el que colaboro, me obligaron a introducir unas preguntas para medir ciertas cosas que, obviamente, todos sabíamos que generarían unos datos muy sesgados positivamente y con escasa credibilidad. Aun así, se hizo porque lo pedía Calidad, y porque así quedaba bien
5. A menudo lo único que podemos hacer es echar mano de buena información cualitativa. En estos casos no te empeñes en cuantificar (lo incuantificable) porque es puro embuste. En vez de exigir a los indicadores que se alineen con la realidad que intentan medir, lo que se hace es constreñir caprichosamente la realidad a los indicadores que podemos (y queremos) medir, bien por ignorancia, o bien por pereza.
6. Reconozco que los "datos cualitativos" parecen, por su propia naturaleza, muy débiles para avalar decisiones. Pero para ciertos análisis, sobre todo en el ámbito de la innovación, lo cualitativo basta. Me pasa a veces que descubro más oportunidades de innovación en frases literales que me dicen los usuarios, o mediante la observación activa, que a partir de tablas de datos. Por otra parte, hay formas de enriquecer la información cualitativa y aportarle más rigor. Por ejemplo, taxonomizando y tabulando las opciones, o accediendo a muestras grandes.
7. Las encuestas como inputs para los indicadores: Podría extenderme en la reflexión sobre cómo fallan las encuestas sobre las que después se construyen los datos, pero para eso ya tienes un post : ¿Por qué preguntar con encuestas no suele funcionar?
8. Si el indicador se utiliza para la rendición de cuentas (accountability) y, por lo tanto, sirve de criterio para juzgar lo bien o mal que ha trabajado una organización, entonces agudiza tu suspicacia a la hora de usarlo para sacar conclusiones. A más influyente es un indicador, más incentivos existirán para manipularlo o mal interpretarlo.

Fuente: https://www.amaliorey.com/2016/03/29/la-falacia-de-la-medicion-que-no-mide-lo-que-promete-post-496/

Si quieres ver más posts de la misma categoría, haz click aqui: