Esta casa solariega de los Cárdenas y Valdivia se conoce popularmente con el nombre de «Los Niños de Don Gome», referencia a los diez hijos que tuvieron entre !622 y 1632 D. Gome Valdivia y Cárdenas y Dª Mayor de Nicuesa y Cobaleda.

El palacio esta construido a espaldas de la muralla almohade y en las proximidades de la Puerta del Sol, donde se encontraba la imagen de la virgen de la Consolación, muy venerada por los vecionos de Andújar desde la Edad Media. El edificio fue construido en tiempos de Dª Elvira Cárdenas Baltonado y D. Luis Valdivia y Figueroa a finales del siglo XVI. El espacio trapezoidal que precede a  la casa solariega tuvo carácter público hasta 1841, año en el que quedó anexionada al palacio.

Casa solariega de estilo renacentista en la que destaca el repertorio ornamental de su torre: blasones, grifos y telamones o atlantes que flanquean el vano de su balcón, que la sitúa plenamente en el manierismo. Este edificio es sede de los Cursos Universitarios de Otoño.