Un tempo sovrastava isolato l'omonimo colle, oggi è circondato da abitazioni edificate negli ultimi decenni. Il Castello è sorto sui resti di una chiesa alto-medioevale dopo la conquista aragonese, nella prima metà del sec. XIV, munito di torri e fossato di difesa. Ha attraversato il suo periodo più florido nel Quattrocento quando fu abitato dalla ricca e potente famiglia dei Carroz. Successivamente abbandonato e in progressiva decadenza fu addirittura utilizzato come Lazzaretto durante la peste del 1652 - 1656. Nello stesso secolo e in quello successivo subì gli attacchi francesi e fu nuovamente fortificato. Nell'Ottocento fu utilizzato come caserma e il secolo dopo come sede della Marina Militare. Finalmente dopo anni di efficaci restauri è possibile vederlo integro e visitarlo. Dall'esterno sono visibili le tre torri e il fossato, all'interno, piuttosto trasformato rispetto alle origini, son state inserite strutture d'acciaio. Oggi di proprietà del Comune ospita mostre e manifestazioni culturali di interesse per i cittadini ed anche per i visitatori stranieri. E' circondato da un bellissimo parco che rimboschisce tutto il colle con aree di sosta per adulti e piccoli, necessarie per riprendere l'erta salita asfaltata che porta sino all'antica fortificazione.