Al final de la Calle Prior se encuentra este Palacio, mandado construir por el tercer conde de Monterrey, Alonso de Acevedo y Zúñiga, en el año 1539. A pesar de la grandeza del edificio, lo existente es tan sólo la cuarta parte del gran rectángulo que pudo y debió ser, puesto que únicamente se construyó una de sus alas.
Son únicas en su estilo las dos torres y las tres chimeneas. Sirve en la actualidad como residencia ocasional de los duques de Alba.