Il Palazzo è stato la residenza estiva di due cardinali appartenenti alla Famiglia Buonvisi, Girolamo e Francesco.

I Buonvisi, potente famiglia di nobili e mercanti lucchesi, discendono da un consigliere di stato dell'Imperatore che si stabilì a Lucca verso il 900.

Realizzarono la loro fortuna con il commercio della seta e la gestione di banche arrivando a divenire la famiglia più ricca di Lucca.

Nel 1920 il Palazzo è stato acquistato dalla famiglia Guidi di Lucca