Der Clifford's Tower wurde im 13. Jh. von Heinrich III. erbaut, um die Holzfestung Wilhelms des Eroberers zu ersetzen, die 1190 von der Bevölkerung belagert und in Brand gesetzt wurde, da die verfolgten Juden in dem Turm Zuflucht gesucht hatten. Der Innenhof, in dem früher ein zweigeschossiges Haus stand, das im 17. Jh. zerstört wurde, ist heute leer. Derzeit sind umfangreiche Renovierungsarbeiten im Gang, und in den kommenden Jahren wird ein neues Besucherzentrum eröffnet werden.