Der Gouverneur der Niederlande ließ das Palais zwischen 1756 und 1780 an der Stelle des alten Stadtpalais von Nassau errichten. Vom Originalbau ist ein klassizistischer Flügel erhalten, der den Platz abschließt. Nach den Renovierungsarbeiten werden in den schönen Innenräumen (besonders sehenswert ist der runde Salon mit Marmorboden und der Rosette aus 28 Marmorvarianten) Wechselausstellungen gezeigt, z. B. The World of Bruegel in Black and White (Stiche und Zeichnungen von Bruegel).