El Portal de la Gallarda, també conegut per portal d’en Gayllart, és una torre-portal rectangular bastida entre els segles XIII i XIV, i és l’únic que es conserva del vuit portals que tenien les muralles de la vila.
A part del de la Gallarda, es coneixen els portals de Sant Francesc o Framenors, Sant Jordi, Santa Clara o Calabró, d’en Cabra, de n’Assalit o Sant Domènec, de la Verge Maria i el Portal Nou, vora la Casa Gran. Donava accés a la vila pel costat de Llevant. El tram de mur conservat en aquest sector permet imaginar la resta de muralles de la població, amb fossar talus i espitlleres.
L’any 1628, el cronista Jeroni Pujades féu guàrdia a la torre del portal de Santa Maria, davant del perill de la presència de l’armada anglesa
El Portal de la Gallarda