A ermida, fundada em 1545 pela Irmandade de São José dos Carpinteiros, foi tornada sede paroquial em 1567, sendo ampliada no século XVII e reedificada depois do terramoto de 1755. Na fachada, o medalhão que encima o portal tem a imagem do padroeiro em baixo relevo, ladeado pelos símbolos dos ofícios da Irmandade. No interior barroco destacam-se os lambris de azulejos setecentistas, a pintura oitocentista do tecto da nave figurando São José e o Anjo e o retábulo da capela-mor em mármore. Nas dependências da igreja funcionou a importante “Casa dos Vinte e Quatro”, instituição histórica, que funcionava como órgão deliberativo da administração municipal, composto por representantes das corporações de ofícios.