L’any 673, el rei visigot Wamba va assetjar el castell d’Ultrera després que el noble rebel Pau s’hagués alçat contra el seu poder. Pau va ser un noble visigot que es va revoltar contra el rei cap a l’any 673.
Es va proclamar rei en una zona que correspon aproximadament a la Gàl·lia Narbonesa (actual sud de França), en un context de conflictes interns molt freqüents dins del regne visigot. Aquesta rebel·lió va ser una de les més importants del període, perquè va implicar diverses places fortificades i nobles locals.
El rei Wamba va reaccionar ràpidament: va dirigir una campanya militar contra els rebels i va derrotar Pau. Després de la derrota, Pau va ser capturat i la revolta es va sufocar, i la fortalesa d’Ultrera va ser recuperada i tornà a quedar sota control reial, fet que constitueix la primera referència escrita coneguda del castell.
Aquest episodi converteix Ultrera en un dels castells més antics documentats del massís de l’Albera.
