Dieser Palazzo wurde von Giorgio Vasari 1607 auf zwei alten Bauwerken errichtet, wobei die Reste der so genannten Torre della Fame miteinbezogen wurden: Wie die Chronik berichtet, wurde Graf Ugolino della Gherardesca, der Kommandant der pisanischen Flotte, nach einer Niederlage, die seinem Verrat zugeschrieben wurde, verurteilt, in diesem Turm zu verhungern - mit seinen Kindern. Dante griff diese Episode im Inferno seiner Göttlichen Komödie auf (33. Gesang).