Este local já era uma fortaleza no tempo dos Cartaginenses. Quando os Romanos ocuparam a Península Ibérica, transformaram a fortaleza num Castro ou Forte. Quando os Romanos partiram foi o mesmo tomado pelos árabes ou mouros que o reconstruiram. Em 1204 foi tomado aos mouros pelo Bispo D.Soeiro com auxilio dos cruzados, sendo ofertado à Ordem de São Tiago. Pouco a pouco foi-se arruinando.
A vila foi alvo dos piratas argelinos que assaltaram várias vezes o local do forte. Foi completamente reconstruído durante a primeira parte da ocupação espanhola em 1590. As paredes que agora se vêem datam deste periodo.
Quando os piratas desistiram dos seus ataques, passou a ser desnecessário tomar medidas de defesa e de novo o tempo se encarregou de tornar a fortaleza em ruina.Em 1906 foi vendido num leilão pelo governo, tendo pertencido sucessivamente  a três diferentes proprietários.
Em 1939 foi adquirido em estado de completa ruína por Dom Luis de Castro e Almeida que o restaurou ao longo dos anos no seu traçado actual. A partir de 1959 começou a receber "paying guests" com quem partilhou a sua divisa "viver sem amigos não é viver".
A familia dos herdeiros desta divisa perpetua a tradição de acolhimento e hospitalidade num quadro renovado em 1998.