El edificio fue proyectado por uno de los arquitectos más importantes del periodo, Torcuato Benjumeda, en 1794, aunque la obra terminó en 1836. Cuenta con dos plantas y ocho salas multidisciplinares distribuidas en torno a un patio central y dos laterales. La fachada está decorada con pilastras toscanas de orden gigante. La fachada principal presenta un cuerpo avanzado con cuatro columnas toscanas y pilares en los extremos., y sobre ellas, un entablamento clásico. Ha sufrido dos restauraciones importantes a lo largo de su historia. La última y más importante fue en el año 2009, cuando el inmueble ya había dejado de albergar los juzgados de la ciudad y volvió a ser gestionado por el Ayuntamiento de la ciudad.

La Casa de Iberoamérica acoge la muestra permanente Colección José Félix Llopis. Horizontes del arte, sueños de ultramar.
La muestra cuenta con un total de cien obras entre grabados, cuadros, esculturas contemporáneas, molas panameñas y arte naif brasileño.