Il palazzo fu costruito tra il 1789 e il 1791 da Carl von Gontard come residenza estiva del re Federico Guglielmo II sulle rive del Lago Santo. Il palazzo segnò l'arrivo dell'architettura classicista in Prussia. L'edificio cubico in mattoni fu rivestito con elementi architettonici in marmo di Slesia, che diedero il nome all'edificio.

Carl Gotthard Langhans progettò gli interni, tra cui la camera da letto del re, completamente rivestita di pannelli, l'insolito gabinetto orientale e la sala da concerto, modellata su un antico tempio. Gli arredi furono acquistati dal re e dalla sua amante di molti anni, la contessa Lichtenau.

Tra questi, sculture antiche, mobili di valore, dipinti di Angelika Kauffmann e altri, e caminetti in marmo di Roma realizzati appositamente per la casa. Il Palazzo di Marmo possiede anche la seconda più grande collezione di ceramiche Wegdwood della Germania.

L'ampliamento del palazzo iniziò nel 1797 con l'aggiunta di ali laterali, che furono completate solo a metà degli anni '40 sotto Federico Guglielmo IV, secondo i progetti di Michael Philipp Boumann e Ludwig Ferdinand Hesse. Le ali laterali sono sostenute all'esterno da colonne di marmo e decorate con la saga dei Nibelunghi.