Cómo la recomendación de la Comisión Internacional del Censo (disponible en esta dirección el informe completo) es muy distinta de la recomendación de la Comisión Nacional (disponible aquí) y que fue discutida en entrada en el blog en este link, en un caso se dice que los datos del censo 2012 se pueden usar y en otro se recomienda hacer un censo corto, no resultara banal comparar los análisis de las comisiones.
El análisis se puede dividir en los siguientes apartados:
Consideraciones que ambas comisiones coinciden.
Lo primero es que las dos comisiones coinciden en que las estimaciones realizadas en base a hogares no observados son inaceptables. Es la primera recomendación de la Comisión Internacional, página 59 y en el análisis se dice:
The imputation of housing units that were not observed in census field operations, and of then imputing households and persons to these imputed housing units, is not a generally recognized international practice. We find no mention of it in the United Nations Handbook on Population and Housing Census Editing (Informe Comisión Internacional, página 29)
Para un informe que está escrito en el estilo de funcionarios internacionales son palabras relativamente fuertes. En ese sentido, esa decisión -que es responsabilidad plena del anterior director del INE- ha quedado a firme como una decisión deplorable, y la salida del INE de la mencionada persona está plenamente justificada.
Lo segundo es que, aunque le da menos importancia y los desarrolla en mucho menor detalle, hay varias de las críticas que realizó la Comisión Nacional que se mantienen en la Comisión Internacional.
Por ejemplo en lo relativo a la ausencia de pre-test. El hecho que se realizara un cambio desde un censo de facto a uno de jure sin analizar mayormente las consecuencias de ese cambio fue uno de los puntos relevantes de la crítica de la Comisión Nacional y se repite en la Comisión Internacional. Esta dice:
Some aspects of field operations, such as the packing, delivery and return of census materials, are similar for de facto and de jure censuses. Other aspects, such as recruitment and training of the staff, field organization, monitoring and reporting during the enumeration are very different.
Implementation of a pilot census is a widely accepted practice and is internationally recommended (UN Principles and Recommendations paragraph 1.195). It is a main milestone to evaluate the quality of census operations (UN Principles and Recommendations paragraph 1.430).
A pilot census would have also supported to measure the level of participation and the response rate of the population, and the appropriate use of the concept of “usual resident” which characterize a de jure census (Informe página 21)
De hecho, en las recomendaciones para futuros censos se puede leer implícitamente varias críticas a la forma en que se realizó el censo por parte de la Comisión Internacional. Por ejemplo que el período de terreno no debiera superar 2 semanas (página 57) o que se de un tiempo relevante para planificar el Censo (página 60) no dejan de ser, finalmente, críticas.
Temas abordados en mayor profundidad por la Comisión Internacional
La Comisión Internacional dedica un largo espacio al procesamiento de datos para concluir que, en general, este no presenta problemas mayores (y fue uno de los pocos datos que aparece en el comunicado de prensa): Que
The report on the data capture prepared by INE indicates a data capture error rates of 0.14% for housing unit data and 0.29% for person data. These rates indicate good quality of data capture (Informe, página 58).
Ahora el caso es que eso no fue parte de los elementos de los cuales estaban centradas las dudas -sobre la calidad de las cédulas recibidas-. Que la Comisión Internacional, al revisar todas las etapas, registrara lo anterior es parte de su tarea; pero no deja de ser necesario puntualizar que la discusión del Censo verso sobre otros motivos.
Otro aspecto en que la Comisión Internacional pone más atención es en relación a las medidas correctivas que el INE ha desarrollado (o empezado a desarrollar) sobre el Censo, Y la conclusión en ambos casos es que se recomienda que ellas se detengan: Tanto la encuesta post-enumeración como la muestra de viviendas no entrevistadas. Es curioso, a decir verdad, que en ambos casos la Comisión es bastante crítica de las decisiones técnicas y metodológicas del INE. Por ejemplo, “INE developed the PCS estimation methodology which is not statistically defensible” (página 45 del Informe). No deja de ser curioso porque la misma institución que desarrolla estimaciones que no son defendibles sí parece ser capaz de realizar un censo aceptable sin por ejemplo tener una planificación adecuada (que es lo que dice la Comisión sobre el Censo 2012). Por decir lo menos, no es un informe que -de hecho- entregue mucha confianza sobre las decisiones del INE a este respecto.
Discrepancias entre comisiones.
Recordemos que aquí nos estamos centrando en el análisis no en las recomendaciones, por lo que no abordaremos la última discrepancia. En términos de análisis la discrepancia más importante dice relación con la tasa de omisión: La Comisión Nacional la estimó en un 9,3 usando estadísticas vitales.
La Comisión Internacional dice:
Demographic equation estimates of the total population of Chile as of the 2012 census may be made using vital registration numbers of births and deaths (it appears that international migration numbers may be too small to have an appreciable effect). Lacking the requisite evaluation of data quality, however, these estimates do not, based on international recommendations, provide a statistically sound basis for estimating 2012 census omission (Informe página 49)
La Comisión Internacional plantea que en general en Chile se estima que las estadísticas vitales son precisas y registran de manera exhaustiva los nacimientos y muertes. Pero que, en realidad, no hay un estudio que lo avale. Lo cual suena razonable.
Lo que quizás no es tan razonable son las conclusiones que sacan a partir de ello. Porque el problema es que la Comisión Internacional recomienda usar el censo sin tener evidencia alguna que el censo cumple con estándares de calidad, y el hecho que no sea posible calcular la omisión es ya un problema importante. Que el procesamiento de datos hecho muestre que las cédulas respondidas fueron trasladadas adecuadamente a las bases no implica que el Censo fue bien hecho cuando los problemas están puestos en otros elementos (sobre los cuales, de hecho, la Comisión Internacional no se pronuncia, como todos los problemas en el proceso de terreno que documentó la Comisión Nacional).
Más aún, como puro razonamiento técnico tiene debilidades. Porque el nivel de omisión que se calculo (9,3%) tiene consecuencias. La estimación es tan alta que para que ese calculo no indicara problemas en el censo (i.e que la omisión estuviera en estándares normales), las estadísticas vitales en Chile debieran ser extremadamente inexactas. Una cosa es que no exista un estudio que establezca el nivel de validez de las estadísticas vitales, otra cosa es aceptar como posible una situación bajo la cual no tengan casi nula validez. En otras palabras hay que optar por dos posibilidades: (a) las estadísticas vitales están meridianamente bien hechas, y el registro de nacimientos y muertes opera razonablemente o (b) el Censo 2012 es plausiblemente válido. Pero no se pueden tener ambas cosas. De más está decir que en mi no muy comisionada opinión, la alternativa (a) me parece más probable.
En cualquier caso, uno observa una diferencia sustancial entre las comisiones en el estilo del análisis. Un caso específico puede observarse en lo relativo a la capacitación Así la Comisión Nacional desarrolla un análisis específico de las dificultades de capacitación, realizando una estimación del número de encuestadores no capacitados. La Comisión Internacional hace una observación similar, pero sintetizada al punto de ser casi críptica:
Even with 20% of staff planned as reserve, in some areas of the country many enumerators resigned during the enumeration period and some local census offices faced difficulties to replace them (Informe página 21)
Esa diferencia en el nivel de exhaustividad del análisis, y de la presentación de él, es recurrente a lo largo del informe de la Comisión Internacional.
En conclusión.
En última instancia, creo que las Comisiones tienen recomendaciones distintas porque sus criterios eran diferentes. El baremo de ‘la información es útil’ es más bajo que usar como criterio el ‘la información es válida’. La Comisión Internacional se centró en la primera pregunta, la Comisión Nacional en la segunda. Los antecedentes para decir que el Censo es válido son escasos y débiles; pero ello no obsta para que, con mucho cuidado, algo de utilidad tengan.
NOTA: Tengo la impresión, pero esto es puro mal juicio mío, que la diferencia es una de expectativas también. La Comisión Internacional no nos evalúo a nosotros con un baremo muy alto -’de todas formas algo se puede usar’. No estoy seguro que hubieran evaluado con la misma mano si hubieran encontrado estos problemas en un Censo de país desarrollado. Pero, claro, al fin y al cabo; un país desarrollado no llama a una Comisión Internacional para que le digan como se hace el Censo.