En un principio se trataba de dos casas que se acabaron uniendo por decreto matrimonial entre las familias criollas novohispanas: Graciana Suárez Peredo y el Segundo Conde del Valle de Orizaba. La Quinta condesa del Valle de Orizaba revistió su fachada con miles de azulejos policromos provenientes del estado de Puebla. Se dice que, una vez que la casa estuvo terminada, la gente quedó admirada y los habitantes se concentraron en sus puertas para verla. Desde entonces fue conocida como La Casa de los Azulejos.
Durante el siglo XIX, la propiedad pasó por varios dueños, hasta que finalmente en 1881 se estableció en ella el elegante Jockey Club, uno de los centros de reunion más exclusivos de la elite porfiriana.
En 1919 la Casa de los Azulejos cambió de nuevo su uso para albergar ahora los almacenes de los hermanos norteamericanos Walter y Frank Sanborn que tras dos años de restauración ahora ofrecían en ese lugar un concepto comercial inédito en México al adecuar a la construcción existente una fuente de sodas, un restaurante, tienda de regalos y revistas, una farmacia y una tabaquería entre otros servicios, que desde su inauguración se convirtió en un rotundo éxito comercial y con el tiempo en una de las tiendas y posteriormente cadenas comerciales más características de México: Sanborn´s.
En el interior destaca el área del restaurante que se ubica en el antiguo patio de la casa en torno a una fuente y rodeada por arcos de piedra y madera. Contiguo al restaurante, en la bóveda de las escalinatas que conducen al piso superior se puede apreciar un mural realizado por José Clemente Orozco en 1925.
La Casa de los Azulejos fue declarada monumento nacional el 9 de febrero de 1931. La entrada es gratuita.