Bélarga forme une enceinte urbaine quadrilatérale dont le bourg semble être un aménagement du XIII° siècle. Le moulin attenant était un lieu de convergence des populations villageoises. Comme on peut encore le voir à Bélarga, les moulins jalonnaient autrefois les berges de l’Hérault tels des bornes miliaires, rythmant la vie des habitants de la contrée au son des roues à aubes…

La position du château est strictement stratégique. En effet, il fût bâti de façon à contrôler la route du littoral à l’arrière-pays ainsi que le passage de la rivière à gué, ou par barque comme cela se faisait il y a peu de temps.

Se dressant sur un remblai naturel, le château et son moulin étaient autrefois séparés par un marécage qui fut asséché. Le château médiéval fut remanié à plusieurs époques, ne conservant qu’une petite partie de ses murs d’origine.