A ermida, dedicada inicialmente a Santo André, estava anexa a um hospital de peregrinos e leprosos. Data de 1599 a primeira referência à invocação de Nossa Senhora da Saúde, cuja imagem, segundo a tradição, foi achada quando se abriu uma vala de enterramento junto da ermida durante um surto de peste. A construção original foi demolida e refeita a expensas dos fiéis em 1652 e de novo em 1756, depois do terramoto, como se lê no lintel sobre a entrada. O altar-mor, em talha dourada de gosto barroco, alberga uma imagem tardo-medieval da padroeira de grande qualidade escultórica.