Ecco quindi spiegato il motivo per cui con tempo le grandi chiese di San Michele Arcangelo e San Francesco si ritrovarono su di un lato del centro urbano e fu necessario un adeguamento della struttura con la realizzazione di grandi porte laterali sulle navate.
Come detto il Casale è stato il primo nucleo abitato dei colli. Su di esso è ancora oggi riconoscibile la presenza di un castello ed è caratterizzato da un particolare sistema di strade a raggiera.
La struttura della città si modifica nei secoli espandendosi dall'originario Casale verso est dotandosi di una originale tipo di fortificazione basata sulle stesse case che ancora oggi mostrano verso l'esterno delle piccole finestrelle dalle quali i cittadini controllavano il contado. Restano, ancora come testimoni di un tempo passato, le grandi porte di accesso al paese che, ad ore stabilite, chiudevano il borgo per proteggerlo nelle ore notturne. Quattro ancora esistenti: Porta Sant'Antonio e Porta Sant'Egidio (edificate alla fine del '700) sul lato sud; Porta Casale e Porta Licinia (detta anche Porta Borea), probabilmente fanno parte dell'originaria cinta muraria del paese eretta nel XIV secolo. Porta Casale, secondo la tradizione veniva attraversata dal vescovo quando doveva prendere possesso della città. Altre due porte erano collocate in quello che oggi è l'ingresso del paese, Porta Sant'Angelo e al suo opposto nel luogo detto Martella.
Ciò che oggi caratterizza la città sono i palazzi gentilizi sorti dal 1600 in poi. Alcuni sono vecchi conventi riadattati a palazzi a seguito della soppressione degli ordini conventuali, altri invece occuparono gli spazi ancora liberi o aggregarono edifici esistenti.
Nel 1878 a Città Sant'Angelo venne istituita la prima Scuola Normale del Regno d'Italia, la scuola che preparò i maestri della scuola di base del nuovo regno, trasformata poi in Istituto Magistrale, istituzione che è rimasta fino ai giorni nostri. Oggi è in un moderno Liceo.