Das Schloss geht zurück auf einen Landsitz, der ab 1651 für die erste Gemahlin des Großen Kurfürsten, Louise Henriette von Oranien, errichtet wurde. Ihr Sohn, der spätere König Friedrich I., ließ das Schloss ab 1689 von den Baumeistern Johann Arnold Nering und Johann Friedrich Eosander erweitern und prachtvoll ausstatten.

Es entstand eine der bedeutendsten Schloss- und Gartenanlagen Brandenburgs. 1702 konnte der „Orange Saal", ein Festsaal mit dem allegorischen Deckengemälde zur Verherrlichung des Hauses Oranien-Nassau, fertiggestellt werden. Mitte des 18. Jahrhunderts erlebte die Residenz unter Prinz August Wilhelm von Preußen (1722–1758), einem Bruder Friedrichs des Großen, eine zweite Blütezeit.

Nach einer wechselvollen Nutzungsgeschichte präsentiert das Schlossmuseum einzigartige Kunstwerke wie die prächtigen Etageren in der Porzellankammer, das königliche Prunksilber in der Silberkammer oder die Sitzmöbel aus Elfenbein, die um 1640 in Brasilien gefertigt wurden.

Aus der Berliner Manufaktur von Pierre Mercier stammt die Serie von Tapisserien, die die Ruhmestaten des Großen Kurfürsten schildern. Herausragend sind auch die Skulpturen von François Dieussart und Bartholomeus Eggers sowie die Gemälde von Meistern wie Anthonis van Dyck, Jan Lievens und Antoine Pesne.