A propósito de la discusión sobre la CASEN 2011

No es la costumbre de este blog dedicarse a comentar asuntos de coyuntura, pero todo el tema de la CASEN me tiene algo aburrido. Y por la razón más sencilla: porque todos los participantes del debate se han dedicado a politizar el asunto.

Veamos cada uno de los puntos de la polémica.

(1) La comunicación sobre la disminución de la pobreza en 0,7 puntos. Dado el error muestral diseñado del estudio, y el hecho que es probable que el error muestral efectivo sea mayor, hace que -por lo menos- hacer una alharaca con el resultado estaba de más. Aquí el Gobierno no tiene, creo, como defenderse de la acusación que hizo una manipulación comunicacional. Que Andrés Hernando, ex-jefe de la División de Estudios, declare que siente que Lavín lo manipuló, aun cuando defiende todas las decisiones técnicas de la encuesta, debiera ser suficiente para dejar en claro la situación.

(2) El tema de las dos muestras. Primero, los documentos al respecto estaban disponibles en el sitio web del Ministerio (hacer click aquí), o sea la crítica que esto no se sabía sólo muestra que el crítico no buscó la información. Aquí uno puede ver que la propuesta del Ministerio de la CASEN ya hablaba de ampliar el tiempo de la encuesta y de hacer una muestra en dos fases. El Ministerio ha planteado que la recomendación de la muestra en dos fases fue del Comité de Expertos, pero Larrañaga ha negado que esa fuera una recomendación, sino que la recomendación fue ampliar el período. Ok. Ahora si amplio el período de toma de datos de una variable que es estacional, como lo es ingresos, evidentemente si quiero comparar tengo que hacerlo con lo comparable: Ergo, puedo comparar los mismos meses, que es equivalente a lo que se hacía antes. No puedo hacer la comparación con el período completo de terreno, que el 2011 fue más extenso, porque entonces es probable que los cambios encontrados sean producto del cambio en el diseño del estudio. En otras palabras, todo el escándalo por ese tema no tiene el menor sentido.

(3) El tema de los subsidios: Que estos subsidios no se mensualizaron como era lo que correspondía. A la respuesta del gobierno que la CEPAL fue la que tomó esa decisión porque ellos estimaron que la diferencia no era relevante y porque había una alta tasa de sub-reporte (y de hecho al parecer el efecto son dos décimas), se respondió con una acusación más profunda que de manipulación de cifras, que es la de mal diseño:

‘Una respuesta posible es que la “imputación del bono” nunca había sido necesaria, pues en encuestas anteriores los cuestionarios permitían distinguir si un ingreso dado (por ejemplo, un bono) era periódico y regular o por una sola vez. Cuando reconoce la necesidad de imputar específicamente el bono, el asesor confirma un segundo error técnico: el cuestionario fue mal diseñado’ (Velasco y Contreras en La Tercera el 21 de Agosto, ver aquí).

Dado que los cuestionarios son públicos es cosa de comparar (aquí Cuestionario 2009 y aquí Cuestionario 2011). En general, no parecen ser formas demasiado distintas de preguntar. Los bonos únicos (por ejemplo, bonos marzo o invierno) se preguntaron por período de referencia de 12 meses en los dos cuestionarios. En otros casos, como el bono de protección social se preguntó por la recepción en el último mes. En general, bonos comparables se preguntaron de formas similares. Los cuestionarios no son idénticos porque los bonos entregados por el Estado no eran los mismos, pero cuando cambia la realidad no queda más que cambiar el cuestionario. En todo caso, en general no se agregó en relación a subsidios preguntas por periodicidad ya sea el 2009 o el 2011 (donde se pregunta de manera sistemática por periodicidad es en ingresos laborales). Eso no obsta para que existan problemas en relación a la pregunta y su comparabilidad, y que se pueda discutir sobre el tema de cómo se asignó el subsidio, pero de ahí a decir que el cuestionario fue mal diseñado hay un trecho bastante grande.

(4) Finalmente, el tema de la pregunta y11, la pregunta por ingresos de desocupados o inactivos. Aquí el centro de la polémica ha estado en que la CEPAL originalmente no incluyó esa pregunta en su cálculo (y daba un 15%, o sea no había existido baja) y el gobierno, entonces, manipuló y exigió que se incluyera (y quedo en el 14,4% conocido). Ahora, escuchemos lo que dice Hernándo, que era el jefe de la División Estudios, en entrevista en el Ciper (aquí):

-¿Quien le pidió que la enviara? 
-Mi jefa me preguntó cuál era la opinión de mi quipo [sic]. Quiero aclarar que no estuve en el proceso de elaboración del cuestionario cuando se hizo la pregunta “y11”. Ese proceso dependía de la División de Desarrollo Social. Yo le pregunté a Carolina Casas-Cordero que es la actual encargada del tema y ella me presentó sus argumentos técnicos, que están todos en la minuta que mandamos, y me convenció de que lo razonable era incluir la pregunta “y11”.

El argumento no provino entonces de las cabezas políticas ministeriales, sino finalmente de los cuadros técnicos del Ministerio. En otras palabras, cualquiera fuera el gobierno, se hubiera hecho la petición. Y la razón es clara: los cambios en cuestionario no se hacen porque sí y entonces esto tiene que ver con las posibles razones para incluir esa pregunta. El argumento de Casas-Cordero fue que la y11 no agrega ingresos sino que desagrega un ingreso que siempre fue considerado (en la pregunta de otros ingresos) y el pre-test habría mostrado eso. Ahora, la opción de desagregar posiblemente provino que desagregar entrega información más precisa, que los desempleados en la CASEN se hacen en torno a una semana de referencia pero los ingresos laborales son mensuales etc.

El caso es que sí se incluyó una pregunta nueva (la y11) dentro de ingresos no es extraño que cuando se reciben cifras que no consideran esa pregunta el diseñador del cuestionario -que no es la CEPAL en última instancia- reclame. De hecho, la CEPAL ahora intenta salirse del tema declarando que ‘ellos no discuten lo que deciden los gobiernos’, cuando la minuta de hecho indicaba que si tenían dudas las hicieran llegar. Si se quiere, la decisión del gobierno incluía que podían hacer valer su dudas.  Presumiblemente la minuta debió tener la explicación más detallada (i.e presentar los datos del pre-test que lo avalan), pero no creo que una minuta insuficientemente detallada sea para hacer escándalo tremebundo.

Había partido todo esto diciendo que todo el mundo había politizado el tema. El gobierno desde sus inicios lo hizo en términos comunicacionales: Armando un gran alboroto por algo que no era para tanto -incluso si uno toma los datos sin discutirlos, no había pasado más que había vuelto a disminuir la pobreza, como lo ha hecho casi siempre con la CASEN, y de hecho todavía no volvemos a los niveles del 2006.

Pero los críticos también han politizado el asunto. En primer lugar, por empezar a hablar sin informarse. Varios de estos puntos estaban en documentos públicos. En segundo lugar, por hacer también una trampa comunicacional al pedir precisiones: Si de verdad tengo consultas técnicas sobre la CASEN no se las hago al Ministro en un Seminario -el Ministro no deja de ser un mero político-, se las hago al encargado de la Encuesta. En tercer lugar, porque se ha pasado de criticar la forma de comunicación de resultados a empezar a poner dudas en todas las cifras, recordemos la cita de ‘cuestionario mal diseñado’, por algo que de hecho era similar en CASEN anteriores.

La politización de la CASEN ya tiene sus años. El primer año que se hizo uso político de estas cosas fue el 2006. Fue la primera vez que alguien habló en referencia a la CASEN como la ‘encuesta del gobierno’ (Hernán Larraín en ese momento), o en que actores políticos que nada saben de Encuestas -Allamand en ese caso- se dedicaran a hacer comentarios técnicos, por ejemplo en torno a los cambios de pobreza a nivel comunal -tema muy discutido en ese entonces. Y ahora que la Concertación está pensando en una comisión investigadora, leamos esta nota de El Mostrador del 23 de Julio del 2007:

“Derecha solicitará interpelación de ministra Hardy por encuesta Casen. El jefe de la bancada RN, Mario Bertolino, justificó la decisión ya que su sector cree que la información del Mideplan, que dio cuenta de una reducción de la pobreza de un 18,7% a 13,7% desde 2003 a 2006, es contradictoria y que su posible falta de veracidad podría poner en riesgo la elaboración de programas sociales”

Pero uno no espera mucho más de los políticos a decir verdad. Lo que es realmente penoso es que gente supuestamente más seria (30 economistas que firman una carta sobre la CASEN por ejemplo) empiece a adquirir los mismos malos hábitos (i.e no revisar la información, no hacer las preguntas a quién probablemente puede responderlas etc.) creo que es más preocupante.