Se construyó en el siglo XIV formando parte del Valle de los Casares y fue cedido por Enrique IV al Regidor de Segovia, Diego Arias Dávila,su contador y secretario, cuyos sucesores fueron nombrados Condes de Puñoenrostro por Carlos I, sus sucesores bajo Carlos I, en 1862 lo vendieron con su dehesa.
La torre del homenaje se conserva en buen estado tras haber sido restaurada, al contrario que el antemuro que se encuentra muy derruido.
Desde la carretera es claramente visible su fachada sur, y alejándonos de Seseña podremos divisar la fachada oeste en la que se alza la torre del homenaje. El acceso principal está en la fachada opuesta, la este, que sólo se llega a ver desde el interior de la finca privada.
De esta puerta se pueden encontrar fotos semicubierta de vegetación, y es muy vistosa, pero es mejor respetar los lindes de la finca privada, por lo que no he llegado hasta ella.
La fachada norte también es difícilmente visible, al haber construido, en el cerro contiguo, una urbanización de chalets que la tapa. Gracias la propietaria de uno de ellos pude hacer, desde su jardín, una toma de la torre del homenaje asomando por encima de los árboles.
El Castillo de Puñoenrostro se encuentra bajo la protección de la Declaración genérica del Decreto de 22 de abril de 1949, y la Ley 16/1985 sobre el Patrimonio Histórico Español.