A história do Castelo de Noudar perde-se no tempo, especialmente porque o arquivo camarário ardeu por duas vezes – durante as invasões francesas e durante a guerra civil entre as tropas de D. Miguel e D. Pedro. Até à chegada de Gonçalo Mendes da Maia a esta região por volta de 1167, esta fortaleza terá sido, na época do domínio árabe, uma simples estrutura que fazia o controle da estrada de ligação a Beja. A partir desta época, a sua posse foi alternando entre mouros e castelhanos, só passando para a Coroa Portuguesa, no reinado de D. Dinis, no séc. XIII.
Terminadas as guerras e definida a linha de fronteira, este Rei revitaliza e reorganiza o território, nomeadamente através do povoamento da região, concedendo em 1295 foral à Vila de Noudar. São efectuados melhoramentos na fortaleza e foi mandando construir o Castelo que é entregue à Ordem de Avis, promovendo a localidade ao estatuto de guarda avançada no território nacional.
Em 1543, o Rei D. Manuel renova o antigo foral, mantendo a vila todos os seus privilégios. Esta e o seu castelo mantiveram-se ocupados por tropas castelhanas depois Guerra da Restauração da independência portuguesa, até 1707, sendo a sua restituição firmada no Tratado de Utrecht, em 1715.
Passadas as glórias e os sofrimentos veio o abandono e, em 1893, o castelo foi arrematado em hasta pública pela quantia de trezentos mil e cem reis. É monumento nacional desde 1910.
Mas… e ainda bem que há sempre um “mas”, reza a lenda que, debaixo da Torre de Menagem do castelo existe uma serpente… dizem as vozes do tempo que uma Moura encantada, devido a desgostos de amor, veio de Moura para ficar para sempre neste lugar mágico. Há quem jure que já a viu à noite, com a sua trança enrolada na cabeça, olhando o infinito…