Segundo a lenda, em 1182, a Virgem da Nazaré salvou D. Fuas Roupinho de cair no despenhadeiro, quando perseguia um veado, no meio de grande nevoeiro.
A ermida foi mandada construir por D. Fuas, em acção de graças pelo milagre, sobre a gruta onde, em 1179, foi encontrada a imagem da Virgem.
A imagem terá origem em Nazaré, de onde foi enviada para o Mosteiro de Cauliniana, junto a Mérida e daí trazida para o "Sítio" em 1113, pelo rei Rodrigo e por Frei Romano.
Em 1623, Frei Bernardo de Brito, monge de Alcobaça, mandou desentulhar a gruta e reconstruiu a ermida aproveitando a estrutura românica.
Agora, o risco de cair é tão grande ou maior que na época de D. Fuas.