El palacio fue construido entre 1789 y 1791 por Carl von Gontard como residencia de verano del rey Federico Guillermo II a orillas del Lago Sagrado. El palacio marcó la llegada de la arquitectura clasicista a Prusia. El edificio cúbico de ladrillo estaba revestido con elementos arquitectónicos de mármol de Silesia, que dieron nombre al edificio.

Carl Gotthard Langhans diseñó el interior, incluida la alcoba del rey, totalmente revestida de paneles, el insólito gabinete oriental y la sala de conciertos, inspirada en un templo antiguo. El mobiliario fue adquirido por el rey y su amante de muchos años, la condesa Lichtenau.

Entre ellos hay esculturas antiguas, valiosos muebles, cuadros de Angelika Kauffmann y otros, y chimeneas de mármol de Roma hechas especialmente para la casa. El Palacio de Mármol posee también la segunda mayor colección de cerámica Wegdwood de Alemania.

La ampliación del palacio comenzó en 1797 con la adición de alas laterales, que no se completaron hasta mediados de la década de 1840, bajo Federico Guillermo IV, según los planos de Michael Philipp Boumann y Ludwig Ferdinand Hesse. Las alas laterales están sostenidas en el exterior por columnas de mármol y decoradas con la saga de los Nibelungos.