El comienzo de su construcción data del año 1651, siendo ocupada por una comunidad de frailes franciscanos.

Fue fundado bajo el patrocinio de Don Fernando Fajardo y de su madre Doña Mariana de Toledo, marqueses de los Vélez.

Fue remodelado profundamente en el siglo XIX, aunque la iglesia que sirvió de sepultura a los más importantes linajes del municipio mantiene mejor su traza barroca, caracterizada por su bóveda de medio cañón, una cúpula de media naranja y las pequeñas capillas laterales.

Destacan sus curiosas vetas con alegorías al planeta tierra y sol.

En 1837(186 años desde su construcción) a consecuencia de las leyes desamortizadoras, los frailes fueron expulsados del convento, aunque la Iglesia pudo recuperar el edificio en 1866. La iglesia anexa de San Antonio de Padua continuó abierta hasta la Guerra Civil.

El edificio se convierte en un centro de segunda enseñanza en 1842, con el nombre de Colegio de la Purísima Concepción y adscrito a la Universidad Literaria de Granada.

En 1878, el convento y la iglesia son utilizados por el Obispado, que llega a un acuerdo con el Ayuntamiento, mediante el cual la propiedad es compartida, pero el Obispado cede al Ayuntamiento su uso. Esa fecha es el inicio de la instalación en las dependencias académicas del Colegio de 1ª y 2ª Enseñanza Virgen del Carmen, regentando desde su inauguración en 1881 por un claustro laico.

Después, desde 1893, por la orden de los Dominicos. Y desde 1922 por los Hermanos de la Doctrina Cristiana (Salesianos) hasta 1933.

Tras décadas de abandono, se actúa en su puesta en valor con varias fases de rehabilitación, albergando desde 2013 la Escuela de Música, Danza y Teatro, la Agrupación Musical y recientemente el Archivo Histórico Municipal.