Aseguramiento de la Calidad

La Oficina de Aseguramiento de la Calidad del Área TIC Medioambiental (OAC) tiene como misión velar por el cumplimiento de los objetivos de calidad exigidos a los productos, tanto documentales como software, entregados por parte de los proveedores de desarrollo. 

Los servicios ofrecidos por la OAC, así como los checklist y plantillas que utiliza, se clasifican en 2 bloques o categorías según el momento del ciclo de vida de software donde se ubican. 

https://www.juntadeandalucia.es/medioambiente/portal/documents/13391456/0/aseguramiento-de-la-calidad.png/05aa69b3-340d-4717-c8c8-e8fed83f47ec?t=1629703794722

Bajo esta agrupación, se encuentran los servicios de Control de Calidad que se realizan tras la entrega efectiva efectuada por el proveedor de desarrollo y que contienen las actividades orientadas a:

  • Garantizar que la entrega cumple con los estándares y normativa definidos por el Área TIC (Ver Normativa TIC).
  • El producto software cumple con las pruebas de instalabilidad necesarias para ser implantado en los diferentes entornos existentes: Pruebas y Producción.

 

SERVICIO DESCRIPCIÓN
Servicio de certificación metodológica (entregables documentales).

La certificación metodológica asegura que los entregables documentales generados durante el ciclo de vida del desarrollo del software, cumplen unas normas básicas de formato, contenido, están acordes a la metodología exigida y se almacenan en el repositorio del área TIC destinado a tal fin.

A grandes rasgos, en la certificación documental, se realiza una verificación del formato de los documentos, con objeto de comprobar la calidad de la documentación proporcionada, permitiendo mantener un modelo común y homogéneo donde se mantienen constantes un conjunto de características en todos ellos. Se verifican tanto contenidos del estándar como el versionado, la hoja de control de cambios, sus títulos, apartados, etc. El segundo paso consiste en la verificación del contenido de estos, de forma que se pueda comprobar que existe una trazabilidad entre los distintos entregables y se facilita la transmisión del conocimiento asociado. 

Este servicio se realiza automáticamente cuando el proveedor de desarrollo realiza la entrega con una petición Helpdesk de categoría: “INTERNAS.APLICACIONES. REVISION DOCUMENTAL”. 

El resultado de este servicio es un informe de certificación con el resultado de la revisión y registro de los defectos detectados en la herramienta de gestión de defectos MANTIS.

Según el tipo de documento, y una vez emitido el informe de certificación por la OAC este documento se traspasa a la Dirección de Proyecto o al Equipo especialista en la materia que ocupa el informe, por ejemplo, el documento de Arquitectura del Sistema, se traspasa al Equipo de Sistemas.

Servicio de verificación de respuesta inmediata

Este servicio tiene como objetivo realizar una verificación preliminar rápida de la calidad de la entrega, de manera que, si detectan disconformidades graves, no continúa el proceso de certificación. Aplica solo a aplicaciones construidas y gestionadas con MAVEN. 

En líneas generales, se comprueba:

  •  La correcta ubicación en Subversion/GIT del software entregado, en la carpeta tags/<versión>
  •  Fichero pom.xml correcto: versión del software, referencia al repositorio correcto.
  •  Versión del software entregado compilado correctamente en el entorno de Integración.
  •  Scripts de BBDD correctos.

Este servicio se realiza automáticamente cuando el proveedor de desarrollo realiza la entrega con una petición Helpdesk de categoría: “INTERNAS.APLICACIONES.PASO A PRODUCCION”.

El resultado de este servicio es un informe de certificación con el resultado de la revisión y registro de los defectos detectados en la herramienta de gestión de defectos MANTIS.

Servicio verificación de entrega

El objetivo de la certificación de la entrega software, es asegurar que dicha entrega cumple con los mínimos requisitos exigibles, previos a la instalación en los diferentes entornos existentes establecidos (Pruebas y Producción). Estos mínimos exigidos, contemplan actividades de revisión documental (documento de entrega, etc.) y pruebas de instalabilidad del código:

  •  Verificación Proceso Compilación.
  •  Verificación Estática de Código Fuente.
  •  Verificación Proceso de Despliegue.

Estos requisitos se encuentran establecidos en los procedimientos de Gestión de Entregas, así como en consideraciones a las entregas de software y documentales.

Este servicio se realiza automáticamente cuando el proveedor de desarrollo realiza la entrega con una petición Helpdesk de categoría:

  •  INTERNAS.APLICACIONES.PASO A PRODUCCION
  •  INTERNAS.APLICACIONES.PASO A PRODUCCION - PASO ESTANDAR
  •  INTERNAS.APLICACIONES.PASO A PRODUCCION – TRAMITES TELEMATICOS

El resultado de este servicio es un informe de certificación con el resultado de la revisión y registro de los defectos detectados en la herramienta de gestión de defectos MANTIS.

Servicio de subida a Pruebas de Código La OAC puede realizar la instalación del software en el entorno de Pruebas de algunas aplicaciones, exceptuando las primeras versiones y los procedimientos telemáticos. Para ello, se compila el código con Jenkins y despliega posteriormente en el servidor de aplicaciones correspondiente.
Una vez instalado en Pruebas, se realiza una primera comprobación de que la aplicación se encuentra accesible.
Este servicio se realiza a demanda por la Dirección del Servicio de Transformación Digital para D.S. 
Servicio de Certificación Calidad estática del Código

La certificación de calidad estática de código consiste en la comprobación de la calidad del código fuente entregado. Los indicadores de calidad de código surgen a partir de buenas prácticas reconocidas para cada lenguaje de programación y de los propios estándares de nomenclatura establecidos para estos. Actualmente este servicio se aplica a tecnologías Java.
La realización de pruebas estáticas se apoya en la herramienta SonarQube que permiten automatizar la mayor parte de las comprobaciones.

Este servicio se realiza automáticamente dentro del servicio verificación de entrega.

El resultado quedará reflejado tanto en el Informe de Revisión de Entrega como en la propia herramienta SonarQube pudiendo ser consultada por cualquier actor involucrado en la entrega.
Más información sobre este proceso en Normativa de SonarQube dentro del apartado Normativa TIC de este Portal. 

 

Los checklist y plantillas que utiliza la OAC para la ejecución de estos servicios son:

 

SERVICIO CATEGORÍA CHECKLIST/PLANTILLA
Servicio de Certificación Metodológica (entregables documentales) Documentación Técnica 

Revisión Análisis Adicionales para Fondos Feader (Checklist)

Revisión análisis Adicionales para Fondos Feder (Checklist)

Revisión Análisis Adicionales (Checklist)

Revisión Diseño del Sistema (Checklist)

Revisión Definición Catálogo de Requisitos (CheckList)

Revisión Modelo de Procedimiento (Checklist)

Revisión Documento de Integración (Checklist)

Arquitectura del Sistema (Checklist) 

Gestión

Revisión Informe de Seguimiento (Checklist)

Revisión Plan de Proyecto (Checklist) 

Revisión Cierre de Proyecto (Checklist) 

Implantación y Aceptación

Revisión Manual de Usuario (Checklist) 

Revisión Manual de Explotación (Checklist) 

Revisión Plan de Formación (Checklist) 

Revisión Manual del Sistema (Checklist) 

  Informe Genérico Revisión Entregable Genérico para Fondos FEDER (Checklist)
Revisión Entregable Genérico para Fondos FEADER (Checklist)

Revisión Entregable Genérico (Checklist) 
Servicio de Verificación de Respuesta Inmediata   Revisión Respuesta Inmediata (Checklist)
Servicio Verificación de Entrega  

Revisión Manual de Instalación y Configuración (Checklist)
Revisión Manual de Entrega (Checklist)
Revisión Entrega Software para Proveedores (Checklist)
Revisión Plan de Pruebas (Checklist) 

Revisión Entrega Software (Checklist) 
Revisión Trámites Telemáticos (Checklist)

Servicio de Certificación Calidad estática del Código   Perfil de Calidad de SonarQube

 

Orientados a la realización de pruebas/certificaciones que pueden ser efectuadas sobre una Aplicación o entrega. 

 

SERVICIO DESCRIPCIÓN
Servicio de automatización de pruebas funcionales.

Este servicio está orientado a conseguir un conjunto de casos de pruebas automatizadas que sirvan para realizar pruebas de regresión en futuras entregas. 
Para generar las pruebas de regresión es necesario haber ejecutado previamente las siguientes actividades:

  • Disponer y mantener el Plan de Pruebas Funcional (PPB), y por tanto del detalle de los casos de prueba que se van a automatizar.
  • Haber realizado la verificación funcional del aplicativo, y que los casos de prueba han sido superados con éxito, antes de grabar las pruebas de regresión con la herramienta Selenium.

Este servicio se realiza a demanda por parte de la Dirección Técnica del Proyecto a través de JIRA con una tarea de tipo "Soporte a Calidad". 

El resultado de este servicio es el conjunto de pruebas automatizadas.

Servicio de Colaboración en la elaboración del plan de pruebas

Este servicio se encarga de validar y evolucionar los distintos Planes de Prueba (tanto técnicos, como funcionales) que serán puestos en práctica durante la certificación del aplicativo.  Serán estos servicios los que van a tenerse en cuenta para la generación y evolución de sus planes de prueba.

Se partirá de los planes de pruebas facilitados por los equipos de desarrollo o los generados durante la prestación de este servicio en entregas anteriores. A continuación se procederá a completarlos y mejorarlos añadiendo los casos de prueba que sean necesarios para realizar un plan de pruebas completo que sirva para la ejecución de cada uno de los servicios que se vayan a ejecutar en la entrega, teniendo en cuenta los requerimientos funcionales que aparecen en el documento de Requisitos y los componentes descritos en el Análisis del Sistema de Información.
Durante la ejecución del servicio se tiene muy en cuenta la relación entre casos de prueba y requisitos para valorar la calidad de las pruebas entregadas así como para establecer los posibles puntos de mejora en la que focalizar los esfuerzos del servicio.

Este servicio se activa automáticamente durante el servicio de certificación funcional,  siempre y cuando el cambio a implantar justifique este servicio. También se puede solicitar por parte de la Dirección Técnica del Proyecto a través de JIRA con una tarea de tipo "Soporte a Calidad".


Como resultado se obtendrá la revisión de los Planes de Pruebas proporcionados por el Proveedor que serán compartidos con el mismo para que se tenga en cuenta en futuras entregas.

Servicio de certificación funcional

La certificación funcional verifica el correcto funcionamiento de los Sistemas de Información/Aplicaciones conforme a los objetivos y requisitos definidos durante su ciclo de vida.
Este servicio se activa automáticamente durante los procedimientos de entrega,  siempre y cuando el cambio a implantar justifique este servicio. La recopilación de esos casos de prueba se denomina Plan de Pruebas, y debe ser entregado por el equipo de desarrollo para ser mejorado y completado, si procede, por los analistas de pruebas de la Oficina de Aseguramiento de la Calidad.

Este servicio también puede ser solicitado por la Dirección Técnica del Proyecto, a través de Helpdesk con la categoría "INTERNAS.APLICACIONES.OFICINA CALIDAD.SERVICIO PRUEBAS FUNCIONALES".


Como resultado del servicio la OCA emitirá un informe de certificación que informará de los resultados de la ejecución del plan de pruebas y registrará los defectos detectados en la herramienta de gestión de defectos. 

Servicio de certificación de accesibilidad.

El servicio de certificación de accesibilidad persigue asegurar que la aplicación cumple los requisitos de accesibilidad, los particularmente establecidos en el proyecto y/o los de carácter general.
El enfoque del estudio en el ámbito de la accesibilidad de una aplicación está orientado a garantizar la capacidad de acceso a la aplicación y a sus contenidos por todas las personas, independientemente de sus capacidades físicas, técnicas o intelectuales, teniendo en cuenta el ámbito de aplicación y utilización del Sistema de Información.

Este servicio se realiza a demanda por parte de la Dirección Técnica del Proyecto a través de JIRA con una tarea de tipo "Soporte a Calidad". 

El resultado de este servicio es la emisión de un informe de certificación que informará de los resultados de la ejecución de este servicio y registrará los defectos detectados en la herramienta de gestión de defectos. 

Servicio de certificación de usabilidad. El término Usabilidad se refiere a la experiencia del usuario al interactuar con un Sistema. Una aplicación o Sistema es usable cuando permite su utilización de forma clara y sencilla de entender por el usuario. Aunque es imposible crear un sitio que sea claro y eficiente para cada usuario, el objetivo es que cada Sistema sea usable para su colectivo de usuarios destino.
El servicio de Verificación y Validación de la Usabilidad se ocupará de certificar ambos aspectos del aplicativo:
  • Garantizar la usabilidad de la aplicación en base a ciertos criterios que verifican si se permite al usuario el uso sencillo e intuitivo de la aplicación desarrollada.
  • Asegurar la correcta aplicación de las normas a cerca de los formatos y uso de objetos gráficos (estructura ventanas, mensajes de error, iconografía, botones, colores…) que deben ser incorporados en el diseño de ventanas, acordados al inicio del proyecto.

Este servicio se realiza a demanda por parte de la Dirección Técnica del Proyecto a través de JIRA con una tarea de tipo "Soporte a Calidad".

El resultado de este servicio es la emisión de un informe de certificación que informará de los resultados de la ejecución de este servicio y registrará los defectos detectados en la herramienta de gestión de defectos. 

Servicio de certificación movilidad El servicio de certificación de movilidad verifica el correcto funcionamiento de las aplicaciones móviles conforme a los objetivos y requisitos definidos durante la vida del proyecto. Utiliza un conjunto de pruebas a los que se les denomina pruebas funcionales o de comportamiento, ya que los analistas de pruebas, no enfocan su atención a cómo se generan las respuestas del sistema, sino que este tipo de prueba se basa en el análisis de los datos de entrada y en los de salida. Esto generalmente se define en los casos de prueba preparados antes del inicio de las pruebas.
El Servicio está enfocado a verificar aplicaciones nativas desarrolladas específicamente para tipos de dispositivos móviles concretos. En estas aplicaciones, el objetivo es probar su funcionalidad completa ya que suele ser mucho más limitada que cualquier aplicación Web, aunque será un aspecto que tendrá que estudiarse en función de su criticidad y ámbito.
Para su ejecución, necesita un plan de pruebas específico, diferente al realizado para la Certificación Funcional pero desarrollado con el mismo enfoque.
En estas pruebas hay que tener presente que un terminal móvil es muy distinto a un ordenador de escritorio y, por tanto, las aplicaciones que se desarrollan para cada uno, lo que repercutirá en todo el proceso de prueba. Se debe tener en cuenta:
  • La variedad de modelos de dispositivos móviles que existen.
  • Los distintos tamaños de pantalla de los teléfonos móviles.
  • La variedad de sistemas operativos móviles existentes (Android, iOS…).
  • La obsolescencia de las versiones de los sistemas operativos (múltiples versiones en relativamente poco tiempo), lo que puede influir en la compatibilidad de las apps.
  • Las distintas formas de conexión a la red de los dispositivos (Wi-Fi, 4G…).

De esta forma, las pruebas de movilidad deberán tener en cuenta todos estos aspectos, además de las propias pruebas funcionales diseñadas para la aplicación móvil de forma específica.

Este servicio se activa automáticamente durante los procedimientos de entrega,  siempre y cuando el cambio a implantar justifique este servicio. Este servicio también puede ser solicitado por la Dirección Técnica del Proyecto, a través de Helpdesk con la categoría "INTERNAS.APLICACIONES.OFICINA CALIDAD.SERVICIO PRUEBAS FUNCIONALES".

El resultado de este servicio es la emisión de un informe de certificación que informará de los resultados de la ejecución de este servicio y registrará los defectos detectados en la herramienta de gestión de defectos. 

Servicio de certificación de pruebas de rendimiento. El objetivo de este servicio es certificar el buen rendimiento de las aplicaciones ante situaciones de carga y estrés, mediante la realización de diversos tipos de prueba basados en la simulación de escenarios que dependen esencialmente del número de usuarios concurrentes, la duración de la prueba y el ritmo de incremento en el número de usuarios, así como otros más específicos del negocio. Consta de 2 actividades principales:
  • Diseño de las pruebas. El objetivo es obtener un diseño de las pruebas que posteriormente servirán para valorar el rendimiento. Para ello deberá tenerse en cuenta las funcionalidades más críticas, así como los requerimientos definidos en este sentido. Todos estos aspectos contribuyen a definir los escenarios de prueba mas adecuados para medir el rendimiento de la aplicación. Los escenarios de las pruebas, ademas de especificar los casos de prueba que deberán ejecutarse, también especificarán el número de usuarios concurrentes, la duración de la prueba, el     • ritmo de incremento en el número de usuarios o el tamaño de los ficheros de intercambio
  • Ejecución de las pruebas. Durante la realización de estas pruebas, se monitoriza el entorno de ejecución. Se busca aquello que incide negativamente en la respuesta de la aplicación, o bien, se buscan datos para determinar los requisitos para la correcta ejecución de la aplicación. En el proceso de monitorización se evaluará el consumo de recursos a fin de poder establecer el cumplimiento o no de los posibles requerimientos técnicos en términos de consumo de CPU, de numero de conexiones a la BBDD o de capacidad en disco.

La realización de pruebas de carga y estrés se realizarán en un entorno distinto al que se ejecutan el resto de las pruebas, para que las mediciones no estén desvirtuadas por otros síntomas.

Este servicio se solicita por la Dirección Técnica del Proyecto, a través de Helpdesk con la categoría "INTERNAS.APLICACIONES.OFICINA CALIDAD.SERVICIO PRUEBAS RENDIMIENTO".

El resultado de este servicio es la emisión de un informe de certificación que recoge los resultados obtenidos, permitiendo analizar los sistemas existentes, y recomendando acciones de mejora que redunden en un aumento del rendimiento y en un incremento de la calidad y fiabilidad del sistema.

Servicio  de certificación de migración de aplicaciones.

El servicio de verificación y validación del proceso de Migración, se encarga de asegurar la validez, calidad y operatividad de un proceso de migración y controlar la ejecución del procedimiento de migración en los distintos entornos de la organización, asegurando una carga correcta de datos. 
Durante la ejecución de este servicio se validará la documentación aportada como Plan de Migración y Carga y se asegurará la calidad del proceso mediante la ejecución del proceso según las especificaciones de la documentación, con el objetivo de asegurar que el proceso se ejecuta sin errores y poder establecer si las necesidades formuladas a nivel de recursos e infraestructuras se ajustan a los requerimientos reales del proceso.
Por otro lado el servicio también verificará la integridad de los datos migrados a través de validaciones realizadas a medida, y comprobará que estos datos son correctos desde el punto de vista funcional, mediante la ejecución de las pruebas funcionales generadas con este fin.

Este servicio se realiza a demanda por parte de la Dirección Técnica del Proyecto a través de JIRA con una tarea de tipo "Soporte a Calidad". 


Como resultado del servicio lanzado la Oficina de Testing elaborará un informe en el que se detallen los defectos detectados en el proceso así como los volúmenes de datos alcanzados y los tiempos de ejecución del proceso de migración. Así mismo se incluirá la referencia al número de datos o elementos no migrados a fin de establecer si los márgenes son admisibles dentro de los requerimientos formulados por el usuario.

Servicio de Certificación de Seguridad de los Sistemas de Información / Aplicaciones

El servicio de Verificación y Validación de la Seguridad pone de manifiesto cuales son los activos de información del sistema así como las amenazas más graves que se plantean. A partir de aquí se calcula el nivel de riesgo y se establece un plan de salvaguardas con el nivel de riesgo residual asociado.
La comprobación de vulnerabilidades se realiza apoyándose en varias herramientas que permiten automatizar el proceso de validación, a fin de permitir la ejecución de auditorías de seguridad sin penalizar los tiempos de resolución.

Este servicio se realiza a demanda por parte de la Dirección Técnica del Proyecto a través de JIRA con una tarea de tipo "Soporte a Calidad". 

El resultado de este servicio es la emisión de un informe de certificación que informará de los resultados de la ejecución de este servicio y registrará los defectos detectados en la herramienta de gestión de defectos. 

 

Los checklist y plantillas que utiliza la OAC para la ejecución de este servicio son:

SERVICIO CHECKLIST/PLANTILLA
Servicio de Testing

Pruebas de Seguridad (Plantilla)

Pruebas de Seguridad para Fondos Feder (Plantilla)

Pruebas de Seguridad para Fondos Feader (Plantilla)


Informe Ejecución de Pruebas

Informe Ejecución de Pruebas para Fondos FEDER

Informe Ejecución de Pruebas para Fondos FEADER