Le château et ses abords sont inscrits au titre de la loi du 2 mai 1930 (art. L.341-1 à 22 du code de l’environnement).

Le Château datant du XIIIe siècle, remanié avec goût grâce à l’aide des Monuments Historiques, se trouve accroché sur un rocher dominant le village. Devenu une simple habitation, on y remarque cependant une ancienne échauguette et à l’entrée la salle des gardes dont la voûte est formée par une croisée d’ogives.

Lors des incursions des Espagnols en 1495-1503, Fraïssé compta parmi les châteaux et villages de la Vicomté de Narbonne qui furent pris et rançonnés par le Duc d’Albe, Frédéric de Tolède qui, sur ordre de Ferdinand, Roi d’Espagne, envahit les Corbières et arriva jusqu’à Narbonne.