Le sentier partant du chevet de la chapelle conduit au pied du castrum médiéval. Sa situation géographique se justifie par son implantation au carrefour de trois voies romaines importantes. Il surplombe la plaine : c’est un poste de garde avancé en bonne hauteur.
Il est fait mention d’un castrum de Saint-Gabriel dès la fin du XIIe siècle (début XIIIe siècle), mais sa tour maîtresse, construite sur deux étages voûtés, semble dater de la fin XIIIe, voire du début XIVe siècle.
Le castrum permettait de surveiller les environs et le péage du site de Tarascon. Sa tour maîtresse servait également de tour de guet face aux prétentions des seigneurs des Baux.
Deux petites tours défendaient probablement un pont qui enjambait le fossé. On peut encore observer des restes de rempart.
La tour maîtresse est une des plus remarquables de Provence. Visible à plusieurs kilomètres, elle représente, par son caractère ostentatoire, le symbole du pouvoir et du prestige du comte de Provence.
La particularité de cette tour réside dans son appareil très soigné, chanfreiné, doté de pierres à bossages.
et contribuer directement à la sauvegarde du patrimoine architectural et spirituel de la chapelle Saint-Gabriel de Tarascon.