Se pensó que la imagen era milagrosa y que había dado prosperada a la zona, con lo cual fue ganando adeptos entre la gente de los alrededores e incluso de Córdoba, donde se hizo muy popular durante los siglos XVI y XVII.

Alrededor de la ermita, construida por Hernando, se edificó una hospedería para los transeúntes que pasaban por la zona, dado que era un cruce de caminos, y a los fieles que iban adquiriendo la Virgen, además de la hospedería, alrededor de la ermita, también se construyó un mesón y varias viviendas . "Años más tarde, tras el azaroso rapto y posterior rescate, echo por un natural de Antequera, el Cabildo catedralicio nombró un capellán permanente en el lugar" (el rapto se produjo en 1525 y la concesión de capellán pudo ser alrededor de 1590). La concesión del capellán se hizo "para el mantenimiento del culto, ornamentos de la imagen y congrua del capellán (...) se le concedieron por cédula real 20 aranzadas de viña y 100 fanegas de tierra" las cuales fueron explotados mediante arrendamientos, con lo cual comenzaron a llegar labradores al lugar. Como nos cuenta Juan G. Nevado Calero estas 20 aranzadas de viña se han convertido en el actual asentamiento urbano.

La ermita construida por Hernando fue sustituida por otra acabada en 1583, esta ermita tras ser restaurada varias veces en años posteriores, fue cambiando su emplazamiento con la iglesia parroquial en 1770. Tras quedarse la imagen fija en Córdoba en 1698, se le construyó una nueva ermita, dado que la anterior era ahora la parroquia, esta nueva ermita fue construida para dar cobijo a la réplica echa en 1769.

Entre los siglos XVI y XVIII la zona fue adquiriendo un aumento de la población tras la llegada de nuevos habitantes, procedentes de cortijos y pequeñas aldeas de los alrededores, como fueron: Navaserrano, Valdeséneco o Valdesénico, Navafernando y El Alfayate. " Navaserrano fue una aldea dependiente de la jurisdicción de Córdoba durante todo el siglo XVII" y, como también nos dice Juan Nevado Calero, fue la mayor aportación de habitantes a Villaviciosa. Valdesénico era un lugar de descansa para viajeros situado cerca de la localidad. Fue el segundo lugar que más población aportó a Villaviciosa y, por último, Navafernando era aldea de Espiel y hoy se encuentra dentro de su jurisdicción, esta población estaba situada en el mismo camino que Valdesénico. Hoy todas estas antiguas aldeas se encuentran despobladas.

También, se asentaron en la creciente población ciudadanos procedentes de Espiel y la comarca de Los Pedroches, Villanueva del Rey, etc . Todos estos habitantes empezaron a acondicionar el terreno para poder aprovecharlo, principalmente cultivando vid, lo que dio un considerable aumento de riqueza y prosperidad a la zona, trayendo consigo la instalación de nuevos vecinos. Según nos cuenta Nevado la principal causa por la cual se asentaron nuevos pobladores en la zona fue porque la adquisición de terreno se hacía sin cargos. Los nuevos pobladores comenzaron a solicitar licencias para construir viviendas, molinos harineros, etc., a Espiel, localidad de la que dependía.

En 1573 el número de habitantes era aproximadamente de unos 150, los cuales vieron necesario la adquisición de un granero, el cual solicitado el 17 de agosto del mismo año. Los vecinos solicitaron el granero, "en base a la población existente, unos 150 vecinos y, al mismo tiempo, recibía una gran cantidad de habitantes que hacían escala en su viaje. Argumentan también que la población va en aumento y, por lo tanto, se puede crear un problema de abasto si no se prevé con tiempo e institucionalmente garantizar el abasto e indirectamente la producción, a través del pósito y su préstamo de grano para la siembra de sus labradores. Otra circunstancia es el alejamiento de los pueblos entre sí".

La fundación de Villaviciosa como localidad se llevó a cabo en 1665 y se estableció como aldea dependiente de Espiel.

La separación eclesiástica de Espiel y Villaviciosa fue llevada a cabo por el Cabildo Catredalício Fray Pedro de Salazar en 1716. Esta separación eclesiástica vino dada por la concesión del capellán a Villaviciosa.