Segundo a tradição a imagem de Nossa Senhora dos Remédios foi encontrada na época em que apareceu também a imagem de Nossa Senhora da Nazaré, cerca de 1179. Teria sido aqui escondida numa gruta pelos cristãos receosos da sua profanação pelos sarracenos. O achamento foi feito por um criminoso fugido da justiça, que procurou refúgio na então ilha de Peniche numa caverna junto ao mar, vindo a encontrar aí a pequena imagem da Virgem Maria com o Menino ao colo. Espalhando-se a notícia, começou o povo a acorrer à gruta para venerar a Senhora e aí foi erguido um altar, transformando a gruta numa pequena capela. Com o aumento do seu culto, foi edificada a actual capela em torno da primitiva gruta, em data anterior ao séc. XVII.