Nel corso dei secoli, la cura spirituale del complesso religioso passò a più ordini religiosi, mentre in alcuni periodi storici, il complesso fu addirittura abbandonato.

  Il primo ordine religioso che vi si stabilì fu quello dei Francescani, i quali vi restarono fino al 1504, anno in cui subentrarono i Gesuati (ordine sorto a metà del XIV secolo come fraternita di laici ispirata alla spiritualità di San Girolamo, trasformatosi poi in ordine mendicante noto come ‘’frati gesuati di san Girolamo’’ e poi in congregazione clericale nel 1606 nota come ‘’chierici apostolici di san Girolamo’’). L’ordine dei Gesuati fu soppresso nel 1668 da Papa Clemente IX. Contestualmente, la Chiesa di S.Maria delle Grazie, con tutto il suo patrimonio, fu ridotta a ‘’beneficio semplice’’ e data in commenda a qualche ecclesiastico che riceveva lo sfarzoso titolo di ‘’abate commendatario’’, il quale incamerava i redditi, affittava il servizio religioso ad un sacerdote e, rimanendo lontano, lasciava spesso andare tutto in rovina.

  L’ultimo abate commendatario, il Cardinale Paluzzo Altieri, volle a S.Maria delle Grazie i Carmelitani Scalzi, cedendo a loro Chiesa, Convento e possedimenti nel 1695. Precisamente, il 31 luglio 1695 quattro padri carmelitani e due fratelli laici presero possesso effettivo del Convento.

  La vita dei frati non fu sempre facile, anzi i primi tempi furono durissimi e molto miseri. Il Convento e la Chiesa erano spogli di tutto e parti degli edifici monumentali minacciavano rovina. Una piccola fonte di guadagno era la fiera del 9 settembre, poiché in quell’occasione i padri affittavano, per un modesto canone, il portico intorno al prato ai vari bottegai, osti e mercanti che ne facevano richiesta. Nel 1740 tale beneficio cessò, poiché il Comune rivendicò a sé la somma di circa 20 scudi che i carmelitani ricavavano dall’affitto dei portici. Fu a seguito di tale rivendicazione che, nel 1742 la fiera del 9 settembre cessò di svolgersi a S.Maria delle Grazie e venne spostata dal Comune in città, divenendo l’odierna ‘’Fiera del Mestolo’’.

  Nel 1786 fu notificato ai frati l’ordine di soppressione del Convento emanato dal Granduca di Toscana Leopoldo I. Il ricorso dei frati al Granduca non fu accolto, ed il 24 agosto i padri carmelitani dovettero abbandonare il Convento. La Chiesa, per tale decreto, divenne Parrocchia di Santa Croce (solo nel 1969 tornerà ad essere una parrocchia autonoma) ed il Convento fu venduto. È durante questo periodo che avvenne la demolizione di gran parte del portico con la vendita dei relativi materiali.

  L’assenza dei padri carmelitani durò 7 anni. Il 21 gennaio 1793 i frati rientrarono a S.Maria delle Grazie e vi trovarono una situazione tanto misera quanto quella del loro ingresso nel 1695.

  Nel 1810 i carmelitani dovettero lasciare nuovamente il Convento a seguito della soppressione ordinata da Napoleone. Rientrarono il 10 giugno 1816 trovando gravi danni a tutte le strutture e scoprendo la scomparsa anche delle campane.

  Per la terza volta in meno di un secolo, nel 1866, i frati carmelitani dovettero abbandonare nuovamente il Convento. Il 7 luglio, infatti, fu emanato il decreto di soppressione generale dei corpi morali dal Governo italiano e dal Re Vittorio Emanuele II. La soppressione riguardò anche S.Maria delle Grazie. Durante l’assenza dei frati carmelitani, tutte le suppellettili furono vendute, parte del Convento fu occupato dai militari e la Cappella di S.Bernardino fu trasformata in deposito di munizioni. Furono inoltre fatti progetti per adibire il Convento ad ospedale per i colerosi e perfino a carcere penitenziario.  

  Nel 1870 alcuni parrocchiani formarono una società tramite la quale fu acquistato il Convento per far tornare i frati carmelitani. La spesa dell’operazione fu di Lire 17.477,34.

  Il 6 settembre 1873, il Convento fu di nuovo requisito per farne un lazzaretto militare per colerosi. In questa occasione l’occupazione durò soltanto 30 giorni.

  Nel settembre del 1915, il Convento fu requisito e trasformato in ospedale contumaciale (militare). Per tale motivo, i frati si trasferirono temporaneamente nella casa a sinistra del Convento e la Chiesa fu chiusa al pubblico per motivi igienici. Il 7 settembre 1919 la Chiesa fu riaperta al pubblico mentre il 24 settembre 1919 venne riconsegnato il Convento ai padri carmelitani.

  Durante i bombardamenti della seconda guerra mondiale nel 1943, fortunatamente la Chiesa non subì danni, nonostante a poca distanza fosse stato colpito più volte il cosiddetto ‘’Fabbricone’’ (attuale Parco Pertini).