Das Castello di Oliveto wurde im 15. Jahrhundert von der bedeutenden florentinischen Familie Pucci erbaut. Der Name der Struktur, die als ländliche Residenz und Befestigung zur Verteidigung der Ländereien, welche die Familie in der Gegend besaß, fungierte, stammt von den Olivenhainen, die es umgeben.

Während der düsteren Periode der florentinischen Geschichte, charakterisiert durch den blutigen Kampf zwischen den Anhängern der Medici und der Florentinischen Republik, war das Kastell der Schauplatz zahlreicher Schlachten. Während einer dieser Schlachten wurden alle männlichen Mitglieder der Familie Pucci umgebracht, die somit offenbar zum Aussterben bestimmt war. In Wirklichkeit konnte der Erstgeborene dank einer farbigen Dienerin in Sicherheit gebracht werden, die als Zeichen der Anerkennung im Wappen der Familie erscheint.

Das Kastell, im Jahre 1850 in Folge der Heirat von Paolina Pucci mit dem Grafen Luigi Guicciardini in die Hände der Familie Guicciardini übergegangen, hatte viele berühmte Persönlichkeiten zu Gast, unter denen Lorenzo den Prächtigen, die beiden Medici-Päpste Leone X und Clemente VII, Papst Paolo III, den Großherzog der Toskana Ferdinando III und den König Vittorio Emanuele II.

Im Jahre 1944 wurde es zuerst zum Sitz der deutschen Truppen und dann zum Hauptquartier der amerikanischen Truppen. Während ihres Aufenthaltes entdeckten die Deutschen in den Untergeschossen des Kastells eine Reihe von Gemälden aus der Galerie der Uffizien, die sie nach Florenz zurückbrachten.

Zum aktuellen Zeitpunkt kann man im Kastell die orginalen Möbel aus dem 15. Jahrhundert bestaunen, sowie Trophäen, Waffen und eine Reihe von Portraits, die aus dem 16. – 18. Jahrhundert stammen.