Situada en la Plaza del Rey, esquina con la calle de las Infantas, es un claro ejemplo de arquitectura civil del XVI que queda en Madrid. Proyectada y construida entre 1574 y 1577 por Antonio Sillero y Juan de Herrera para D. Pedro de Ledesma. En 1583, fue adquirida por el genovés Baltasar Cattaneo, según Répide con muy malas artes, y desde entonces la casa fue conocida como «casa de Cataño». Tres años después mandó al arquitecto Andrea de Lurano realizar la primera ampliación, resultando un caserón de planta rectangular, de dos alturas y un tejado a cuatro aguas rematado por siete chimeneas que representaban los siete pecados capitales. La casa sirvió de reclusión a una hija ilegítima de Felipe II.
En 1590 el doctor Francisco Sandi y Mesa compró la casa y fundó el mayorazgo de los Colmenares, desde 1716 hasta 1881, Condes de Polentinos, . En el siglo XVIII su función de residencia nobiliaria conllevó cambios, como la construcción de un anexo transversal, que hoy da a la calle de Colmenares, resultando una planta en forma de «L».
Fue residencia del Marqués de Esquilache, contra quien el pueblo madrileño se amotinó en 1766 por decretar la prohibición de llevar capa larga y chambergo.
En 1874 el arquitecto Agustín Ortiz de Villajos realizó una nueva reforma y con su venta al financiero Jaime Girona en 1881, se convertiría en la sede del Banco de Castilla. Al año siguiente el arquitecto Manuel Antonio Capo retornó las fachadas a su aspecto original. Fue declarada Monumento Histórico Artístico en 1948 y otra vez reformada en 1957 por Fernando Chueca Goitia y José Antonio Domínguez Salazar. Desde 1980 es sede del Ministerio de Educación y Cultura y desde 1995 declarada Bien de Interés Cultural.
En 1874 el arquitecto Agustín Ortiz de Villajos realizó una nueva reforma y con su venta al financiero Jaime Girona en 1881, se convertiría en la sede del Banco de Castilla. Al año siguiente el arquitecto Manuel Antonio Capo retornó las fachadas a su aspecto original. Fue declarada Monumento Histórico Artístico en 1948 y otra vez reformada en 1957 por Fernando Chueca Goitia y José Antonio Domínguez Salazar. Desde 1980 es sede del Ministerio de Educación y Cultura y desde 1995 declarada Bien de Interés Cultural.