I primi documenti su questa Villa sono piuttosto tardi e risalgono al 1593, quando Alessandro Buonvisi, nel suo testamento, pur lasciando erede di tutti i suoi beni il figlio Lodovico, manifestò il desiderio che la moglie Angela, qualora non avesse trovato soddisfacente la sistemazione assieme al figlio, potesse andare ad abitare nella Villa di S. Pancrazio; l’altro è costituito da un particolareggiato Terrilogio risalente al XVII secolo, in cui è riportata la pianta del giardino ed il disegno del palazzo.

Dalle caratteristiche estetiche si ritiene che il progetto per la costruzione della Villa sia stato commissionato dai Buonvisi, tra la fine del 1400 e l’inizio del 1500, a Matteo Civitali. Il Civitali (1436-1501), insigne scultore, intagliatore, architetto, operò a Lucca ed in altre città toscane. La Villa fu la sede prediletta di due Cardinali, Girolamo e Francesco che, quando erano a Lucca, la elessero come loro dimora. Nel 1661 il Cardinale Girolamo vi ospitò un Sacro Sinodo, cui partecipò lo stesso Papa Alessandro VIII; ed un altro Sinodo vi fu indetto dal Cardinale Francesco nel 1700, pochi mesi prima della sua morte.

Di grande pregio artistico è anche la scuderia Buonvisi, legata a singolare leggenda; la scommessa del Buonvisi con il re di Francia Luigi XIV. Il Buonvisi sosteneva essere più bella la scuderia di San Pancrazio che una qualsiasi sala della reggia di Versailles. Incuriosito il re inviò un suo ambasciatore per constatare la veridicità delle parole del Buonvisi. Il messo giunto sul posto trovò le pareti della scuderia interamente tappezzate di monete d’oro riportanti l’effige del Re Sole. L’ambasciatore, di fronte a tanto splendore e all’immagine del suo re, non poté che inchinarsi e riconoscere che il Buonvisi aveva vinto la scommessa. (http://www.villaoliva.it)