Pałac został zbudowany w latach 1789-1791 przez Carla von Gontarda jako letnia rezydencja króla Fryderyka Wilhelma II nad brzegiem Jeziora Świętego. Pałac był początkiem klasycystycznej architektury w Prusach. Sześcienny ceglany budynek został pokryty elementami architektonicznymi wykonanymi ze śląskiego marmuru, od którego pochodzi jego nazwa.

Carl Gotthard Langhans zaprojektował wnętrza, w tym w pełni wyłożoną boazerią sypialnię króla, niezwykły gabinet orientalny i salę koncertową wzorowaną na starożytnej świątyni. Meble zostały zakupione przez króla i jego wieloletnią kochankę, hrabinę Lichtenau.

Obejmują one zabytkowe rzeźby, cenne meble, obrazy Angeliki Kauffmann i innych, a także marmurowe kominki z Rzymu wykonane specjalnie dla tego domu. Marmurowy Pałac posiada również drugą co do wielkości kolekcję ceramiki Wegdwood w Niemczech.

Rozbudowa pałacu rozpoczęła się w 1797 r. wraz z dodaniem bocznych skrzydeł, które zostały ukończone dopiero w połowie lat czterdziestych XVIII wieku pod rządami Fryderyka Wilhelma IV według planów Michaela Philippa Boumanna i Ludwiga Ferdinanda Hessego. Skrzydła boczne są wsparte na zewnątrz marmurowymi kolumnami i ozdobione legendą o Nibelungach.