A ocupação humana de Sortelha remonta provavelmente a um castro lusitano, tendo sido posteriormente ocupada sucessivamente por romanos, visigodos e mouros. Esta aldeia histórica, outrora vila, viu ser-lhe concedido o seu foral em 1228, durante o reinado de D. Sancho II, data em que o seu castelo medieval sofreu profundas obras de renovação. Construído num maciço granítico, os afloramentos rochosos acabam por servir de contrafortes naturais.

Pena Sortelha, como era então chamada, fez parte da linha defensiva da Riba-Côa tendo, desde o reinado de D. Sancho I, sido efectuados esforços para povoar a região, com vista à defesa da linha de fronteira disputada entre Portugal e Castela. Assume especial importância em 1640 quando, na Restauração da Independência, a estrutura foi adaptada às novas técnicas militares que então surgiam, nomeadamente ao fogo de artilharia, estando neste período envolvida em diversas operações militares contra Castela. No início do século XIX torna a ter um papel de relevo durante as invasões francesas, no combate às forças de Napoleão. É monumento nacional desde 1910.