Die Festung aus dem 12. Jh., die zum Verteidigungssystem des Herzogtums Valois gehörte, wurde zum ersten Mal unter Ludwig von Orléans von Jean le Noir wieder aufgebaut. Zu Beginn des 17. Jh.s wurde sie geschleift. 1813 erwarb Napoleon I. die Ruinen für weniger als 3 000 Goldfranken. Sein Neffe, Napoleon III., beauftragte 1857 Viollet-le-Duc mit der Restaurierung. Zunächst war nur vorgesehen, den Bergfried und die Nebengebäude wieder bewohnbar zu machen, doch Ende 1861 wurde beschlossen, Pierrefonds zu einer kaiserlichen Residenz umzubauen. Der von der Kultur des Mittelalters und besonders vom Geist der Gotik durchdrungene Architekt baute das Anwesen nun völlig neu auf. Die Bauarbeiten dauerten bis 1884. Die beeindruckenden 8 Wehrtürme werden von Statuen bekannter Helden - Arthus, Alexander, Godefroy, Josua, Hektor, Judas Makkabäus, Karl der Große und Cäsar - geschmückt. Die Korbbögen der Hauptfassade des Ehrenhofs bilden eine Art überdachten Hof, der von einer Galereie gekrönt wird (von Viollet-le-Duc hinzugefügt). Im ersten Stock des Bergfrieds liegen die Wohngemächer des kaiserlichen Paares, deren Ausstattung der Architekt ebenfalls übernahm. Der Salle des Preuses (52 auf 9 m) hat die Form eines umgekehrten Schiffsrumpfs. Seinen Namen erhielt er von den Statuen der neun Heldinnen epischer Romane, die auf dem Kamin stehen. Der nördliche Wehrgang schließlich zeigt ein perfektes mittelalterliches Verteidigungssystem (stufenlose und von engen Türen befreite Laufgänge, um sich bei Gefahr schnell an den kritischen Punkten versammeln zu können).