Durant els segles XVIII i XIX, quan l'edifici s'utilitzava com a equipament militar, es van dur a terme diverses intervencions menors que en la majoria dels casos van consistir en afegir nous edificis auxiliars. El més important va ser un edifici pentagonal, la Caserna de Cavalleria, situat molt a prop de la Rambla, i que va ser enderrocat el 1935. En qualsevol cas, les diferents ocupacions han mantingut l'estructura bàsica de l'edifici, de manera que s'ha preservat pràcticament el seu aspecte original.