Villa Oliveto rijst op op een heuvel van de Valdichiana, net buiten de bebouwde kom van Oliveto, niet ver van Civitella in Val di Chiana. Net als andere villa’s in het aretijnse territorium, werd ook villa Oliveto gebouwd door de graven Barbolani di Montauto.

Waarschijnlijk gebouwd op een eerder landhuis, is het actuele gebouw vrucht van een reeks restauratiewerkzaamheden die uitgevoerd zijn in de XIXe eeuw. De interne verdeling van de lokalen is als in de typische woningen van de eigenaars, met een voorname verdieping, een verdieping gereserveerd voor het dienstpersoneel en lokalen voor de uitvoering van de agrarische activiteiten op de bovenste verdieping. Het gebouw is omringd door een park en door olijfgaarden.

Tijdens de Tweede Wereldoorlog werd Villa Oliveto getransformeerd tot een fascistisch concentratiekamp.