Durante el desarrollo fetal, el cerebro experimenta diferentes reorganizaciones, especialmente de su cableado. Tras el nacimiento, el número de conexiones neuronales se incrementa exponencialmente, superando en muchas ocasiones a los niveles del cerebro adulto. El propio cerebro va ajustando el exceso de número de conexiones, las conexiones más utilizadas se refuerzan y las que menos utilizamos se van eliminando. A este proceso se le conoce como la "poda neuronal". Las conexiones que sobreviven o bien desaparecen depende de los genes o de las experiencias en el medio. El desarrollo del cerebro no sigue unas pautas temporales concretas. En la corteza visual se produce durante los 3 primeres meses de vida un aumento muy rápido de sinapsis y después se da una disminución progresiva hasta estabilizarse entorno a los 10 años. En cambio, en la corteza frontal se inicia más tarde el proceso de sinaptogénesis, poda neuronal y mielinización. Su maduración no se inicia hasta la adolescencia y no se estabiliza hasta la tercera década de vida. Disponemos de datos suficientes sobre el desarrollo cerebral que, en todas las culturas se adquieren a la misma edad, siempre que se reciba la estimulación adecuada antes que se inicie la escolarización.
Si hablamos de los primeros recuerdos de nuestra infancia vienen a la mente episodios y sucesos fragmentados y aislados. Lo normal es no recordar nada de lo vivido antes de los 2 o 3 primeros años de vida debido a la amnesia infantil temprana. La formación de recuerdos autobiográficos no aparece hasta al final del segundo año de vida. De los recuerdos anteriores a los 11 años, menos del 1% de registros eran de antes de los 3 años. Esto es en lo referente a la memoria explícita y autobiográfica porque existen otras memorias que están operativas desde el nacimiento: las memorias implícitas.
En relación a la memoría implícita en las primeras etapas vitales, en el último trimestre de gestación, el feto es capaz de aprender y recordar a través del uso de las memorias implícitas o procedimentales. El feto es capaz de procesar el sonido del habla de la madre. Es capz de distinguir el lenguaje de la música y aprender a responder a esos estímulos con patadas. El feto es sensible a determinadas características del lenguaje y de la música. Prefieren la voz de su madre tal como la perciben dentro del útero y también fuera de éste a cualquier voz femenina. Los tres primeros días después del nacimiento prefiere escuchar su lengua materna antes que otras lenguas.
Respecto a las memorias en la adolescencia y en la vida adulta, en la corteza frontal de una preadolescente, entre los siete y los trece años, se produce simultáneamente un incremento de la materia gris y un aumento de las sinapsis. En esta etapa, tiene lugar los procesos de poda neuronal y de incremento de la substancia blanca, la mielina, y este incremento continua en la adolescencia hasta la tercera década de vida. Estos cambios en el cerebro adolescente, son los que permiten que aparezcan una serie de capacidades cognitivas como las funciones ejecutivas, como la memoria de trabajo, atención selectiva y sostenida, planificación de tareas futuras, inhibición de conductas inadecuadas, toma de decisiones o resolución de problemas. El cerebro adulto sigue conservando una gran plasticidad que permite aprender habilidades y destrezas y memorizar contenidos y conocimientos necesarios para adaptarse al nuevo entorno.