Construit au Xe siècle, cet important château-fort verrouille l'entrée de la vallée de la Berre. Il eut souvent, de ce fait, à souffrir de nombreuses luttes et cruelles batailles. En 1382, lors de la révolte des Tuchins, les Narbonnais ayant à leur tête un prêtre nommé Bernard Arquivilant, se révoltèrent contre le vicomte de Narbonne et lui firent une guerre implacable. Ils ravagèrent ses terres, mirent le feu à sa demeure après l'avoir pillée, puis se dirigèrent vers Portel, en armes, avec bombardes et canons. Le château, qui était à l'époque l'une des propriétés du vicomte, fut assiégé et les moulins et faubourgs du village incendiés.

Il ne reste plus de cette construction que les assises de la porte d'entrée, s'élevant sur un rocher qui domine la Berre.