A propósito de otras cosas estaba leyendo un blog en que se discute un libro de Richard Biernacki Reinventing Evidence in Social Inquiry (la discusión en Orgtheory aquí), y en particular una reseña del libro en el blog Scatterplot de Andrew Perrin (aquí el link). La tesis del libro es, si se reduce a lo mínimo, que los recientes usos de análisis numéricos y cuantitativos a textos no funcionan. Parte central del argumento es mostrar como las reducciones de los textos a codificaciones que luego se cuentan terminan por deformar el significado de esos textos.
Como estos métodos han tenido un gran auge en los últimos años ayudados por los avances en procesamiento computacional -pensemos en cosas como los N-grams de Google por ejemplo- esta crítica ha generado polémica (y leyendo los blogs se puede observar que la publicación tuvo una azarosa historia). Perrin en particular que hace una crítica exhaustiva revisa varios puntos; pero como al final su rechazo al texto tiene un fundamento epistemológico bien podemos citar esa parte de la crítica
Finally, it is epistemologically indefensible. The main epistemological claim is wholism: that decontextualized fragments of text have no meaning separate from the surrounding text, and that in turn texts have no meaning separate from the cultural milieux in which they were produced.
- On the first: “The ‘representative sample’ approach of science cannot accommodate the pursuit of exchanges of cultural significance” (62). “Word frequencies never have a legible relation to cultural competencies, repertoires, or semiotic systems. Numbers do not sketch anything of verbal significance” (143). This is a bizarre theory of language, utterly irreconcilable with any reasonable understanding of how meaning is encapsulated in and extracted from text. Taking it to its logical conclusion, it is an indictment of any kind of analysis (the root, ana-, referring to dismantling an object of interest to understand its parts). All science is about discarding some information in order better to understand the information that remains,
- On the second: the requirement that texts be interpreted in their own cultures would reduce the meaning in such texts to nothing—the whole point of written text is that it is transportable across time and space and can be interpreted elsewhere in ways that bridge author, reader, and the respective cultural environments of each. The ridiculous requirement that texts be read within their “own” cultures quickly reduces to Borges’ fable of the map.
Ahora, los dos puntos en que se basa la crítica epistemológica no son tan fuertes finalmente. Decir que no se recoge el significado contando frases es, a decir verdad, una trivialidad. Por una parte, sabemos que de hecho no es extraño que la información relevante de una frase no sea dicho explícitamente en ella. Por otra, el efecto de significado de una frase en un texto no depende de su repetición. Una frase dicha una sola vez puede ser crucial y decisiva.
Como estas cosas son de análisis empírico mejor ilustrarlas empíricamente (es un ejemplo que sueldo dar en clases). A estas alturas hace más de 10 años participé en un estudio de focus sobre imágenes de la juventud entre grupos jóvenes. Ahora en uno de ellos, que casualmente no se reconocía como un grupo joven, se dio la siguiente dinámica. El grupo partió hablando de cierta manera -criticando a los jóvenes de la época por su falta de compromiso político. En cierto punto, uno de los participantes hizo una intervención planteando que, en realidad, eso estaba bien -la generación de los participantes del grupo en realidad no había podido disfrutar de su juventud debido a la necesidad de hacer política, y era algo positivo que los jóvenes ya no tuvieran que hacerlo. Luego de esa intervención toda la tónica del grupo cambió, y ya no se pudo volver a criticar a los jóvenes como se lo había hecho antes. Fue la frase más poderosa y relevante dicha, y lo fue tanto, que sólo fue necesario decirla una sola vez. Al mismo tiempo, para poder entender su fuerza es necesario entenderla en el contexto -o sea, no analíticamente separando en sus partes, sino analizando el significado de ella en relación a las otras frases (que, al fin y al cabo, era uno de las intuiciones básicas de la lingüística estructural*).
La segunda crítica en realidad requiere una mala crítica. Cuando Biernacki dice que los textos son parte de contextos específicos y por lo tanto requieren ser leídos “as they are embedded in a culture different from [del analista]” no requiere plantear que un texto sólo puede ser interpretado en su propia cultura. Sólo que para poder entenderlo hay que entenderlo en su contexto. Digamos, un criterio y requisito bastante estándar -pruebe a leer un documento histórico sin saber nada del período y las posibilidades de cometer graves errores no son menores.
Plantear que estos criterios muy triviales son epistemológicamente indefendibles nos envía al título de la entrada. Al final lo que tenemos es la usual mutua incomprensión que ocurre entre defensores de una sola perspectiva para las ciencias sociales. Y por lo tanto lo que desde una perspectiva no es más que sentido común es indefendible desde otro. En última instancia, toda la ciencia consiste en el desarrollo del método que uso (la ciencia es análisis, es descomposición en partes).
Ahora la, a estas alturas, larga historia de la investigación social nos debiera mostrar que, de hecho, ambos métodos producen información útil y valiosa, y que no entregan el mismo tipo de información -no son reemplazables entre sí. Como lo cualitativo a veces tiene que defenderse bien podemos recordar lo siguiente. El que la vida social funcione nos muestra que lo cualitativo entrega información valiosa. Interpretar el significado de las comunicaciones de los otros es algo que hacemos todos de manera cotidiana, y es porque esa interpretación más o menos funciona que podemos operar en la vida social**. Por cierto los métodos cualitativos van más allá de esa interpretación cotidiana pero el que ella funcione nos muestra que sí entregan información.
Del mismo modo el que los métodos cuantitativos para analizar textos sean insuficientes e incompletos no quiere decir que no tengan sus usos (aunque, por cierto, no es eso lo que plantea Biernacki). Hay un momento en que sencillamente la cantidad del corpus no hace posible usar métodos hermenéuticos y aunque uno sepa que es muy deficiente, algunas pistas da el contar palabras. El caso es que hay que reconocer las limitaciones de cualquier aproximación.
En todo caso, hay que recordar que la combinación y coexistencia de los métodos es algo que es parte del estado de la sociología. Por más que algunos se desesperen el hecho que los sociólogos realizarán estudios cualitativos y estudios cuantitativos y estudios mixtos esta entre las cosas que probablemente nos seguirá acompañando en el futuro.
(*) La lingüística estructural probablemente no tenga tanta influencia como en décadas anteriores, pero la idea que el significado es relacional creo que sigue siendo relevante.
(**) Si alguien necesitare otra prueba de la utilidad de lo cualitativo, baste con recordar que las empresas privadas los requieren y usan. Y como esas empresas no suelen gastar recursos en investigación por gusto, podemos pensar que tiene alguna utilidad para ellas.