Nuevo activo de verificador de procesos
Para la release 5.3.0-Ultimate hemos incorporado un nuevo activo para verificar procesos que nos va a permitir comprobar el resultado de la ejecución de procesos desarrollados sobre Onesait Platform, la plataforma de Minsait, permitiendo verificar la carga correcta de datos.
Además de esto, el verificador de procesos nos permite añadir reglas a estos procesos para conseguir un mayor control de los datos insertados. Por ejemplo, hay una regla que comprueba la correcta integridad de los datos cargados («dataExist») o una que nos permita controlar el número de registros cargados («volumetry»).
Conceptos del verificador de procesos
En el siguiente diagrama podemos ver el flujo que sigue el verificador de procesos:
Entidad de bitácora
Esta Entidad contiene la información sobre los procesos a verificar.
Esta Entidad almacena la información sobre los procesos a lanzar así como las reglas a aplicar. Sus atributos son:
- process: en este campo se registrará el nombre del proceso.
- date: hace referencia al campo del proceso que almacena la fecha de la inserción de información.
- granularity: frecuencia de los datos insertados.
- temporality: frecuencia con la que se insertan los datos.
- day_week: día de la semana en la que se realiza la carga de datos (lunes = 1, domingo = 7).
- day_month: día del mes en el que se realiza la carga de datos.
- monthly_mismatch: diferencia de meses entre la carga de datos y la información que esta referencia.
- weekly_mismatch: diferencia de semanas entre la carga de datos y la información que esta referencia.
- daily_mismatch: diferencia diaria entre la carga de datos y la información que esta referencia.
- comments: comentarios que podemos añadir sobre el proceso para más información.
- rules: campo que alberga la definición de las reglas que aplican a cada proceso. Este campo se divide a su vez de la siguiente forma:
- type: tipo de regla que aplica para este proceso.
- records: registros esperados para este proceso (solo aplica en regla «volumétrica»).
- tolerance: tolerancia de registros esperados (solo aplica en regla «volumétrica»).
Entidad de registro
Esta otra Entidad almacena el registro de ejecución de los procesos, y si han superado las distintas reglas definidas para estos:
Los atributos en este caso son:
- process: nombre del proceso.
- date: fecha donde se ha realizado la verificación.
- type: tipo de regla que se ha verificado.
- detail: información en caso de error en la verificación.
- status: registro sobre el estado del proceso para cierta regla («Passed» o «Failed»).
¿Cómo se usa el verificador de procesos?
Flujo principal
Para usar el verificador de procesos, en primer lugar crearemos un flujo en el FlowEngine como este:
En el fujo principal («Main») tendremos un «trigger» manual que nos permitirá lanzar el proceso bajo petición. En la imagen se muestra cómo ejecutarlo en una fecha concreta:
Además, el proceso puede lanzarse de forma dinámica por el nodo «trigger dynamic» una vez por día.
En los nodos de parametrización definimos las siguientes variables:
- fecha: fecha de día de hoy.
- ont: Entidad de bitácora de la cual obtendremos la información.
- ontLog: Entidad de registro donde insertaremos la información.
Flujo de ejecución de las reglas
En este flujo se define toda la configuración necesaria antes de verificar las distintas reglas de cada proceso:
En el nodo de «parametrización consulta», se lleva a cabo la formación de la «query» necesaria para obtener la información de cada proceso y almacenarla en la variable «msg.payload».
Con el nodo «payload to JSON» simplemente se transforma la salida de la consulta a un JSON, mientas que el nodo «split payload» nos separa el este JSON en distintos objetos.
Después de esto se debe realizar la separación de reglas; esto se realizar en el nodo «split rules», donde creamos una nueva variable («msg.rule») que utilizaremos en el siguiente nodo «switch» para separar los objetos y aplicaremos la regla que le aplique.
Después de pasar por el flujo de la regla que se deba aplicar, realizaremos la inserción del resultado en la entidad registro.
Reglas
Después de separar por reglas, entramos a la definición de cada una de ellas en sus respectivos flujos. Podremos añadir cuantas reglas deseemos. Inicialmente se incluyen estas dos:
Regla dataExist
En esta regla comprobamos la existencia de datos para la granularidad especificada en el proceso. En caso de no existir datos, se dará la regla como «Failed» y se dejará reflejado en el campo «detail» un mensaje explicativo del motivo del error.
En el caso contrario, la regla quedara como «Passed».
Regla volumetry
Con esta regla se comprueba el volumen de datos registrados para un proceso en específico. El número de registros esperados y la tolerancia (número porcentual) viene dados dentro de la misma regla.
En caso de recibir un numero de registros que este dentro de los esperados se dará la regla como «Passed», pero en caso contrario esta quedará como «Failed» y se añadirá en el campo «detail» un mensaje explicativo del fallo.
Ejemplo de ejecución
A continuación, vamos a ver un ejemplo de la ejecución de este verificador para estos procesos.
Para no tener que construir de cero todo el flujo, hemos preparado un archivo ZIP con el código del activo para importarlo a la Plataforma.
¿Y cómo lo importamos? Simplemente descargaremos el archivo y nos dirigiremos a la sección de «Bundle Load» dentro de «Version Control» en la Plataforma.
Una vez en esta página haremos clic en el botón «Upload ZIP» y seguidamente en “Import“.
Definición Proceso 1
- process: Process1
- date: datetime
- fromat: yyyy/mm/dd
- granularity: daily
- temporality: weekly
- day_week: 0
- day_month: 0
- monthly_mismatch: 0
- weekly_mismatch: 0
- daily_mismatch: 0
- rules:
- Item 1
- type: dataExist
- Item 2
- type: volumetry
- records: 336
- tolerance: 20
- Item 1
Definición Proceso 2
- process: Process2
- date: datetime
- fromat: yyyy/mm/dd
- granularity: daily
- temporality: weekly
- day_week: 0
- day_month: 0
- monthly_mismatch: 0
- weekly_mismatch: 0
- daily_mismatch: 0
- rules:
- Item 1
- type: dataExist
- Item 2
- type: volumetry
- records: 1
- tolerance: 20
- Item 1
Para este caso no existirán datos del proceso 1 el día 14/12/2023. Además de ello, el total de registros insertados del proceso 2 es 66.
Tras lanzar nuestro verificador de procesos el resultado en la entidad registro será el siguiente:
Imagen de cabecera: Sigmund en Unsplash
✍🏻 Author(s)
