Il primo Piano Regolatore di Milano redatto da Cesare Beruto, vide tra il 1882 e il 1890 la demolizione del Lazzaretto, l'enorme estensione venne lottizzata per l'edificazione di nuovi edifici popolari.

Fu risparmiato, a testimonianza dell'esistenza, un piccolo tratto tuttora esistente in via San Gregorio al civico 5, inserito nello spazio ceduto per la costruzione di una scuola elementare.

Dell'originario impianto, restano cinque celle e mezzo, sei finestre e cinque ‘torresini’, affiancate dal fossato e affacciate all’interno su un’area adibita a piccolo giardino.

Nel 1909 una cella fu arredata con suppellettile originaria, donata dalla famiglia Bagatti Valsecchi, ma in seguito privata di tutto l'arredo.

A Varedo, grazie al mecenatismo illuminato della nobile famiglia milanese, la Porta di San Gregorio (o Porta Minore) da dove uscivano i deceduti per peste verso il Foppone (attuale Via Lecco), viene salvata dalla demolizione e posizionata nel parco della dimora.

La lapide posta al centro della struttura, riporta l’epigrafe scritta in latino:

"In questo luogo di Varedo dove nell’anno 1523, dalla nascita del Signore, Pasino (di) Bagatti, figlio di Giovanni Bernardino, prese in enfiteusi i beni appartenenti al monastero di Santa Maria Maddalena, in Milano, e più tardi con la sua famiglia, fuggendo la peste che imperversava in quasi tutta l’Italia, vi trascorse tranquillamente 60 anni, i fratelli Fausto e Giuseppe Bagatti nel 1884, dopo aver rinnovata e perfezionata la casa, mossi da una certa qual devozione, composero gli ultimi resti dell’edifico di Santa Maria della Salute dal volgo chiamato Lazzaretto, antico documento di pestilenze e di mirabile carità".

Nella villa, altri resti dell'edificio milanese si trovano a testimoniare il percorso coperto che dalla casa dei forestieri conduceva alle scuderie: camminamento porticato sorretto da 24 colonnine in granito rosa di Baveno provenienti anch'esse dal Lazzaretto.