Es bastante frecuente que cuando la fachada de un edificio presenta esgrafiados, muchos piensen que se trata de pinturas y este puede ser el caso del Palacio del Duque de Abrantes, edificio palaciego del siglo XVII que se encuentra en el número 86 de la calle Mayor. La construcción partió de un encargo que hizo en 1652 don Juan de Valencia el Infante, que compró cinco casas contiguas para que el arquitecto Juan Maza las derribara y levantara en el solar resultante un palacio lo más cercano a la Corte.
Mucho ha cambiado desde entonces su fisonomía original pues, además de las sucesivas reformas de los interiores, constaba de diferentes embocaduras en los balcones, aleros con menos voladizo, otra entrada principal y las esquinas a la calle de la Almudena y a la del Factor, estaban coronadas de flamantes torreones con chapitel. Tuvo que ser un edificio un tanto incómodo de habitar, pues desde 1656, el año de su terminación, fue pasando por innumerables manos, principalmente de la nobleza, hasta que finalmente, a mediados del siglo XIX, lo compraran los duques de Abrantes, que encargaron en 1845 una importante remodelación al arquitecto Aníbal Álvarez Bouquel (1806-1870).
Entre sus más destacados propietarios figuran el caballero de la Orden de Alcántara, don Antonio de Valdés y Ossorio; el marqués de Alcañices, don Juan Enríquez de Borja y Almansa; las linajudas familias de los Cuevas y de los Pacheco; el senador don Manuel María de Santa Ana; el alcalde de Madrid don Ángel de Carvajal y Fernández de Córdoba, marqués de Sardoal. Incluso durante una época fue dividido en instancias a modo de pisos de alquiler. Allí se alojaron la sede del periódico La Correspondencia de España con su entonces propietario Ignacio Escobar, la Embajada Italiana con el conde Giuseppe Tornielli-Brusati y más tarde su sucesor el barón Renzis di Montano, a los que se debe la última reforma del palacio encargándosela al arquitecto Luis Sanz y Trompeta, que se valió de artistas italianos, concretamente milaneses, para embellecer las fachadas con la decoración de su último piso a modo de ático que hoy en día podemos observar.
Los temas de los paños esgrafiados son figuras tanto de niños como de adultos sujetando emblemas, guirnaldas vegetales y escudos. Finalmente durante la Guerra Civil es utilizado por la Brigadas Internacionales y al finalizar la contienda en 1939, la embajada se traslada al Palacio de los Marqueses de Amboage, figurando el palacio desde entonces como sede del Istituto Italiano di Cultura.