El origen del nombre está discutido. Algunos abogan por Yannat al-Arif como Huerta del Arquitecto, o "Jardín del arquitecto" aunque pudo significar El más excelso jardín. Ese huerto real era común en las cortes hispano-árabes y es fruto de las reformas y añadidos que le aportaron los diferentes sultanes. Por sus elementos decorativos más antiguos, el palacio debió de construirse entre los siglos XII y XIV.
Tras la conquista en 1492, los Reyes Católicos concedieron la finca a un alcaide para su custodia y aprovechamiento. Dicha alcaidía pasó a perpetuidad, a partir de 1631 a la familia Granada-Venegas, hasta que, después de una largo pleito iniciado en el siglo XIX, se incorporó al Estado en 1921.
En 1984 fue declarado Patrimonio de la Humanidad por la Unesco.