Según John Searle, los informáticos están empeñados en buscar la inteligencia artificial en los ordenadores, en conseguir que las máquinas actúen igual que la mente humana y no simplemente simular su funcionamiento. Pero esto no es posible. Searle cree que la idea de que la conciencia humana puede ser el resultado de un programa de gestión de la información instalado en un hardware biológico como el cerebro es un error en el que caen muchos partidarios de la inteligencia artificial fuerte, pues hay una diferencia cualitativa entre las máquinas biológicas que somos los humanos y las máquinas mecánicas que son los ordenadores.
"Una manera de comprobar una teoría de la mente consiste en preguntarse a sí mismo cómo sería si mi mente trabajase según los principios que esa teoría atribuye a todas las mentes. Vamos a aplicar esta prueba al programa de Schank mediante el siguiente experimento mental. Supongamos que yo estoy encerrado en una habitación y me pasan una gran cantidad de escritos en chino. Supongamos además (como es el caso) que no sé chino, y que no estoy seguro de poder distinguir la escritura china de otras formas de escritura, como la japonesa, o de garabatos sin sentido. Para mí, la escritura china es un montón de garabatos sin sentido. Supongamos ahora que después de ese primer lote de escritura china me dan un segundo lote, junto con una guía para relacionar le segundo lote con el primero. La guía está en inglés, y yo lo entiendo tan bien como cualquier hablante inglés nativo. De esta manera puedo relacionar un grupo de símbolos formales con otro grupo de símbolos formales, y todo lo que es formal significa aquí que yo puedo identificar los símbolos a partir de sus formas. Después suponemos que se me da un tercer lote de símbolos chinos, junto con algunas instrucciones, también en inglés, que me permiten relacionar elementos de este tercer lote con los otros dos lotes anteriores, y estas reglas me enseñan cómo retornar ciertos símbolos chinos con ciertos tipos de formas, como respuesta a ciertos tipos de formas que me dieron en el tercer lote. Aunque yo lo desconozco, la gente que me pasa todos esos símbolos llama al primer lote guión (script), historiaal segundo lote y preguntas al tercero. Además, denominan respuestas a las preguntas a los símbolos que yo devuelvo en respuesta al tercer lote, y al conjunto de reglas en inglés que me pasaron, lo llaman programa. Ahora, para complicar la cosa un poco más, imaginemos que esa gente me pasa también historias en inglés, que yo entiendo, y después me hacen preguntas en inglés sobre tales relatos, y yo les devuelvo las respuestas en inglés. Supongamos también que después de un tiempo me vuelvo tan bueno siguiendo las instrucciones para manipular los símbolos chinos y los programadores se vuelven tan buenos escribiendo los programas que, desde un punto de vista externo _esto es, desde el punto de vista de alguien fuera de la habitación en la que estoy encerrado_, mis respuestas a las cuestiones son absolutamente indistinguibles de las que darían los hablantes nativos chinos. Nadie, sólo a través de mis respuestas escritas, podría decir que no sé una palabra de chino. Supongamos también que mis respuestas a las preguntas en inglés son, indudablemente, indistinguibles de las que darían otros hablantes nativos ingleses, por la sencilla razón de que yo soy un hablante nativo inglés. Desde el punto de vista externo _desde el punto de vista de alguien que lee mis respuestas_, las respuestas a las preguntas en chino y las respuestas a las preguntas en inglés son igualmente correctas. Pero en el caso chino, a diferencia del caso inglés, yo produzco las respuestas manipulando símbolos formales no interpretados. En lo que concierne al chino, yo simplemente actúo como un ordenador; llevo a cabo operaciones computacionales sobre elementos formales especificados. Para lo que respecta al chino, soy un simple eslabón en el programa del ordenador."
Se trata pues de una especie de enorme caja (una habitación cerrada, una auténtica caja negra) que supuestamente alberga un computador programado para de recibir datos en una lengua natural, en este caso el chino, y responder adecuadamente en forma de preguntas sobre los datos recibidos, tal y como funciona la máquina de Schank. Entran varias tandas de hojas de papel escritas en chino (input), así como instrucciones escritas en inglés (lo que se identifica con el programa informático que un ordenador entendería), y en el interior Searle las interpreta los escritos en chino gracias a las instrucciones en inglés, y da la respuesta (output) adecuada también en chino (como ocurre durante el programa de Schank), "de tal modo que la persona que se encuentre al otro lado de la ventana no sabría decir si está hablando con una persona que habla [o sabe] chino, o no" (Santiago Sánchez-Migallón, Saliendo de la habitación china). Esto último es una errónea interpretación del experimento de Searle. Hay una cierta tendencia a confundir la habitación china con un sistema de traducción de mensajes, cuando se trata de una máquina de entender historias, una réplica de la máquina de Schank. El uso del chino y el inglés se debe a que Searle debe explicar que el lenguaje natural, mediante el que comunicamos historias, es diferente del lenguaje formal de un programa informático. En este paralelismo experimental, el inglés es la lengua que Searle domina porque él hace el papel de un ordenador que recibe instrucciones (lo que hoy llamaríamos software o algoritmo) para manejar los datos que recibe en una lengua natural, el chino, que el ordenador, al menos inicialmente, desconoce, y por eso Searle también. Éste sí es el contexto adecuado para entender el experimento mental de Searle.