No se conoce con gran seguridad en que época llegó la imagen de la virgen al pueblo . Por los pocos datos que se conocen se sabe que ya en el año 1490 ya existía la primera ermita.

Fue Hernando un trashumante portugués que huyendo de una guerra civil que se había producido en Portugal trajo la imagen de la virgen de Villaviciosa, con la cual se asentó en las Gamonosas, en Espiel.

Desde que la virgen llegó a la zona la población empezó a rendirle culto de tal manera que por está época ya se conocía una cofradía llamada Santa María de Villaviciosa.

La actual ermita es de la época moderna, Ya en el medievo se conoce la existencia de su primera ermita, refiriéndonos a edificio, puesto que la primera ermita que tuvo la virgen fue un tronco de árbol y la segunda, la cual ya podíamos considerar un edificio se encontraba donde actualmente se levanta la iglesia de San José.