Hacia 1810, por encargo de José Bonaparte, Juan de Villanueva emprendió unas obras de las que hoy se conserva una gruta, ornamentada con rocalla. Habrá que esperar al reinado de Isabel II (1833-1868) para que se inicie el ajardinamiento. La traída de las aguas del Lozoya a través del Canal de Isabel II resultó fundamental. En 1844, por iniciativa de Agustín Argüelles y de Martín de los Heros, el proyecto es encargado al arquitecto Narciso Pascual y Colomer. Para salvar los considerables desniveles se utilizaron como materiales de relleno los escombros extraídos durante la remodelación de la Puerta del Sol.
Con la revolución de 1868 y el fin de la monarquía isabelina el jardín volvió a caer en el abandono. Habría que esperar a 1890, durante la regencia de María Cristina de Habsburgo, para ver su impulso definitivo, gracias al jardinero catalán Ramón Oliva, con la plantación de más de 9.000 árboles, 8.800 arbustos, 12.000 rosales y 400 palmeras, entre otras especies. En 1898 se incluyeron varias casas góticas de madera de estilo suizo o tirolés, obra del arquitecto Repullés.
Los jardines están emplazados entre la fachada occidental del Palacio Real y el paseo de la Virgen del Puerto (antiguo Camino de Castilla). En el eje principal del jardín, sobresalen las fuentes de los Tritones y de las Conchas. La primera traída de Aranjuez, donde estaba desde 1657 por mandato de Felipe IV. La segunda del palacio de Boadilla del Monte y cedida por Fernando VII a su esposa María Cristina de Borbón, tras recibirla de los duques de San Fernando.
En 1931, fueron declarados de interés histórico-artístico. Durante la Guerra Civil Española sufrieron cuantiosos daños, restaurados en la década de los 40.