El Archivo Histórico Provincial de Granada fue creado de forma oficial por Orden Ministerial de 20 de mayo de 1994 ( BOE de 24 de mayo), para reunir, conservar y difundir la documentación generada por los órganos del Estado en la provincia de Granada, como integrante del Patrimonio Documental Español. Desde el año 1969, el Archivo de la Real Chancillería vino ejerciendo funciones de Archivo Histórico Provincial, por lo que se inició el proceso de recogida e ingreso de fondos documentales generados por varias Delegaciones Provinciales y otros organismos dependientes del Estado en la provincia.

En el año 1991, el Archivo Histórico Provincial empezó su funcionamiento como Unidad independiente del Archivo de la Real Chancillería de Granada y gestionada por la Consejería de Cultura de la Junta de Andalucía, en virtud del Real Decreto 864/1984, de 29 de febrero. Iniciado así el proceso de constitución, no fue hasta el año 1994 cuando quedó incorporado al Sistema de Archivos del Estado, formando parte de la red de Archivos Histórico Provinciales. En la actualidad se rige por el Convenio de Colaboración entre el Ministerio de Cultura y la Junta de Andalucía, de 21 de mayo de 1994. En ese mismo año los Archivos Histórico Provinciales fueron integrados plenamente en el Sistema Andaluz de Archivos.

Desde su creación estuvo instalado provisionalmente en la Casa del Padre Suárez, sede del Archivo de la Real Chancillería, hasta el año 2000 en que los fondos documentales fueron trasladados, ya que el citado edificio iba a ser sometido a una profunda rehabilitación.

En la actualidad el Archivo se encuentra instalado de manera provisional, en una nave en la Calle de San Agapito, que fue transferida por la Administración Central a la Administración Autonómica y que había estado dedicada a taller de vehículos oficiales en el Parque Móvil de los Ministerios. La Consejería de Cultura encargó un proyecto para adecuar el edificio de 2000 metros cuadrados a uso de Archivo. El proyecto de adaptación llevó a cabo la construcción de los depósitos, sustitución de cubiertas, instalación de los sistemas de climatización y seguridad, así como la creación de áreas de servicio al público, sala de investigadores con disponibilidad para 40 usuarios y un área de uso administrativo y proceso técnico.