En los últimos años he dedicado bastante tiempo a estudiar cómo se miden y evalúan los resultados de la comunicación digital en las organizaciones y la reputación en el entorno digital. Al analizar los modelos que se utilizan en la actualidad, podríamos establecer un conjunto de patrones que permiten afirmar que los instrumentos disponibles están orientados a la medición de la operativa o táctica cotidiana de la gestión de las redes sociales y poco centrados en la evaluación estratégica. Algunas características generales de la medición y evaluación en el ámbito digital son las siguientes:
Medición de la Presencia: Datos sobre la actividad digital general y/o en redes sociales. Los modelos, plataformas o sistemas de análisis están enfocados en la recopilación y gestión de datos y ratios sobre la Actividad, Alcance, Engagement y/o Contenidos. La medición de la Presencia se realiza habitualmente desde 2 perspectivas:
- Análisis del Desempeño Digital: Datos de la actividad de la propia organización o marca. Los modelos, plataformas o sistemas de análisis se centran en medir detalladamente la actividad de las cuentas en redes sociales de la propia organización o marca, es decir, su desempeño. Evalúan la performance de la organización en las redes sociales, en relación con los competidores o con parámetros generales de gestión de las mismas, lo cual permite plantear soluciones sobre cómo mejorar la actividad comunicativa.
- Análisis de la Conversación Social Digital: Datos de lo que “otros” sujetos dicen sobre la organización o marca en el ecosistema digital. Los modelos, plataformas o sistemas de análisis se orientan a extraer datos del volumen y características generales de las menciones realizadas sobre una organización, marca, competidores, etc. Y, sobre todo, se focalizan en la identificación e importancia de los “influencers” del sector o temática. Se estudia su nivel de actividad y la relevancia de su impacto, número de seguidores, perfil de seguidores, tipo de publicaciones, niveles de alcance e interacción de sus publicaciones, etc. Esto permite saber quiénes están hablando de la organización o marca y cuál es su alcance e influencia, para poder actuar en consecuencia.
Medición del Sentiment: Datos sobre valoración positiva, negativa o neutra de las publicaciones en la conversación social digital. Los modelos, plataformas o sistemas de análisis realizan esta evaluación mediante la identificación de palabras o expresiones (o combinación de las mismas) con connotaciones positivas, negativas y/o neutras, y se presentan como la sumatoria de publicaciones con diversas tonalidades.
Ya sea en la medición de la Presencia como en la evaluación del Sentiment, los sistemas de análisis extraen KPIs eminentemente tácticos, muy orientados a la gestión del día a día. Esto no es malo en sí mismo, pero sí que limita la perspectiva estratégica de gestión de la comunicación digital, enfocándose demasiado en lo táctico/operativo y en el corto plazo y relegando la visión estratégica y de medio/largo plazo.
Por otra parte, las necesidades táctico/operativas de muchos gestores de redes sociales (acceso permanente y en tiempo real para gestionar las publicaciones en las diversas plataformas en el día a día, o incluso en el intradía), así como las necesidades de escalabilidad y rentabilidad de las empresas de monitoreo y análisis de redes sociales (gestión de muchísimos datos para muchos clientes, que se piden de forma permanente y en tiempo real), han llevado a que la medición sea realizada bajo 2 condicionantes íntimamente ligados:
Automatización: Los modelos, plataformas o sistemas de análisis utilizan motores y sistemas automatizados o semiautomatizados de búsqueda para (a) encontrar menciones de la organización o marca; (b) para identificar y categorizar los conceptos, palabras o expresiones vinculadas al sujeto o a las temáticas analizadas; y (c) para clasificar y organizar el sentiment de las publicaciones.
Fiabilidad: La aplicación de sistemas o procesos automatizados (o semiautomatizados) permite el acceso a los resultados en tiempo (casi) real, pero genera dudas sobre la fiabilidad de los mismos, debido sobre todo a la dificultad para analizar de forma automatizada lo que se conoce como datos no estructurados (en este caso, el lenguaje humano).
La relación entre “automatización” y “fiabilidad” es uno de los temas claves del debate sobre la medición en social media, ya que la gran mayoría de las usuarios en las redes sociales utilizan un lenguaje coloquial, lleno de expresiones y giros idiomáticos, frases o comentarios con dobles o múltiples sentidos, ironías, etc, lo cual genera una alta complejidad en la interpretación de las publicaciones. Así, por ejemplo, poner o no poner una coma, o la ubicación de la coma en un texto, puede cambiar totalmente el sentido de un titular, de un post o de un tuit.
El análisis de contenido cualitativo y en profundidad (datos complejos no estructurados) realizado por sistemas automatizados o semiautomatizados está aún lejos de ser fiable en algunos procesos. Así, estos sistemas son altamente fiables y eficientes en la “búsqueda” de menciones de empresas, marcas, etc. (con porcentajes muy elevados de acierto y rapidez en la búsqueda), porque sólo deben identificar y seleccionar “menciones” (palabras). Pero su fiabilidad decrece a medida que el análisis se hace más “complejo”. En el caso de la categorización temática o conceptual, la fiabilidad se reduce significativamente, puesto que pasamos de la “mención” a la “interpretación”. La asignación de “sentido” dependerá no sólo de la organización sintáctica y el sentido literal, sino también de la situación contextual, y por lo tanto, las posibilidades de interpretación son múltiples. Y en el caso del análisis de sentiment, los resultados suelen ser bastante cuestionables, con porcentajes muy altos de “neutralidad” y muchos errores en la asignación de valoraciones positivas y negativas.
Por supuesto que el análisis “humano” no es infalible, pero con analistas expertos y bien entrenados la fiabilidad en la interpretación está en torno al 90-95%. En el futuro (quizás próximo) las máquinas analizarán como un ser humano, pero en el presente aún no.
Así pues, tenemos un doble reto (inmediato) en la evaluación de la Reputación Digital:
Por una parte, es necesario trabajar en modelos, sistemas y procesos híbridos que combinen adecuadamente la búsqueda de información y la gestión de datos de forma automatizada con el análisis, interpretación, conceptualización y categorización “humana” de la información, para aprovechar al máximo las potencialidades de cada uno de ellos.
Y por otra parte, es relevante evolucionar hacia un sistema de indicadores (KPIs) de medición y evaluación de carácter estratégico de la Reputación Digital de las organizaciones o marcas, que permita complementar el análisis habitual de datos tácticos en el corto plazo, para implementar una gestión integrada de la comunicación digital de una organización.
Esto me ha llevado a desarrollar MAINMEDIA>SOCIAL, un modelo de medición y evaluación estratégica de la Reputación Mediática, que permite analizar desde una perspectiva estratégica y de largo plazo la Reputación Digital de una organización o marca. Pero de este modelo ya hablaré en mi próximo post.
Extras
Post Media Reputation Metrics: Táctica + Estrategia (aquí)
Post ¿Medición y Evaluación?… ¿Y eso para qué sirve? (aquí)