Das Palais wurde 1789–1791 von Carl von Gontard als Sommerresidenz für König Friedrich Wilhelm II. am Ufer des Heiligen Sees erbaut. Mit dem Schloss hielt die klassizistische Architektur in Preußen Einzug. Der kubische Backsteinbau wurde mit Architekturelementen aus schlesischem Marmor bekleidet, die dem Haus seinen Namen gaben.

Carl Gotthard Langhans entwarf die Innenausstattung, darunter das vollständig vertäfelte Schlafkabinett des Königs, das ausgefallene Orientalische Kabinett und den einem antiken Tempel nachempfundenen Konzertsaal. Die Ausstattungstücke wurden vom König und seiner langjährigen Mätresse Gräfin Lichtenau erworben.

Dazu gehören antike Skulpturen, wertvolle Möbel, Gemälde unter anderem von Angelika Kauffmann und speziell für das Haus angefertigte Marmorkamine aus Rom. Zudem besitzt das Marmorpalais die zweitgrößte Wegdwood-Keramik-Sammlung Deutschlands.

1797 begann die Erweiterung des Schlosses mit dem Anbau von Seitenflügeln, die erst Mitte der 1840er-Jahre unter Friedrich Wilhelm IV. nach Plänen von Michael Philipp Boumann und Ludwig Ferdinand Hesse vollendet wurden. Die Seitenflügel sind außen mit Marmorsäulen gestützt und mit der Nibelungensage verziert.