Gelegen an der Grenze zwischen Gaiole in Chianti und Castelnuovo Berardenga und somit an der Grenze zwischen den Landkreisen Florenz und Siena, hatte das Castello di Brolio hauptsächlich eine Funktion der Verteidigung gegen die Angriffe der senesischen Armee auf Florenz.
Das Kastell, das mindestens aus dem 10. Jahrhundert stammt, hat einen langobardischen Ursprung, wie man dem Namen des Ortes an dem es sich erhebt entnimmt: Brolio stammt nämlich vom langobardischen Begriff “brolo” was bedeutet “grüne umzäunte Fläche mit dem Kastell des Herrn in der Mitte”. Trotzdem ist von der ursprünglichen Struktur heute nur der Sockel der Verschalung übriggeblieben.
Im Jahre 1141 wurde das Kastell zum Besitz der Familie Ricasoli und im Laufe der Jahrhunderte wurde es mehrere Male durch die Seneser belagert und erobert, um dann erneut durch die florentinischen Armeen zurückerobert zu werden. Die bekanntesten Angriffe sind die der Jahre 1252, 1434 – als die Herrschaft von Florenz Neri Capponi aussenden mußte, um die Ricasoli zu befreien, die von den Senesern gefangen genommen wurden – und 1478.
Nach der Eroberung Sienas durch Florenz verlor das Kastell seine Verteidigungsfunktion und wurde in eine prächtige herrschaftliche Residenz umgewandelt, mit angeschlossenem landwirtschaftlichem Betrieb und Weinproduktion, noch heute berühmt für die Produktion des Chianti Classico.
In Auftrag des Barons Bettino Ricasoli begann im Jahre 1835 der Architekt Pietro Marchetti die Arbeiten zur Neugestaltung des Kastells nach den Vorgaben des “Gothic Revival”, eines Stils der sich von England aus in ganz Europa verbreitete. Bei dieser Gelegenheit wurde die Struktur in ein englisches Kastell aus roten Steinen umgewandelt, mit nicht aus der italienischen Architektur stammenden Elementen, wie den Türmchen mit Zinnen und den Fenstern im Tudor-Stil.
Das Kastell ist umgeben von einem in zwei Bereiche unterteilten Park: einen Italienischen Garten im Stil des 16. Jahrhunderts und einen romantischen Park, der im 19. Jahrhundert nach Wünschen von Simone Ricasoli gestaltet wurde.