In strategischer Lage hoch über dem Hafen war Dunbar Castle eine der bedeutendsten mittelalterlichen Burgen. Die roten, unterschiedlich hohen Mauerreste sind alles, was an die bewegte Geschichte erinnert. Das markanteste Ereignis der mehrmals belagerten Festung war unbestreitbar das Jahr 1339, als "Black Agnes", Gräfin von March und Dunbar, sich erbittert gegen die englischen Truppen unter Salisbury. zur Wehr setzte. Das schottische Parlament beschloss 1567 die Zerstörung der Burg.