El palacio está situado en el Monte del Pardo a poca distancia de Madrid.
Edificado sobre una antigua residencia de Enrique IV, ha sido modificado en diversas ocasiones por Carlos I, Felipe II y Felipe III. Su aspecto actual se debe al rey Carlos III y al arquitecto Francisco Sabatini.
La decoración interior tiene como protagonista los tapices según modelos de Bayeu y Goya, así como piezas de mobiliario de los siglos XVIII y XIX.
Desde 1983 es la residencia de los Jefes de Estado extranjeros en visita oficial.