Mejoras en el módulo de DataFlow
Hasta ahora, todo lo relacionado con DataFlow se ha ido realizando con usuarios internos de Dataflow Streamsets Data Collector. A partir de la versión 6.1.0 de Onesait Platform hemos implementado el SSO con DataFlow, de tal manera que a nivel de Streamsets, serán los mismos usuarios de la Plataforma los que registren todas las operaciones realizadas, en vez de hacerlo con usuarios propios de la aplicación.
Esto nos permite entre otras cosas, tener un mayor control de quién ejecuta qué. Por ejemplo, podemos ver tanto en los logs como en el histórico de ejecuciones quién ejecuta cada proceso:
De cara al usuario final de Onesait Platform, este cambio es totalmente transparente. Para el usuario, el funcionamiento del módulo DataFlow y el desarrollo y ejecución de los pipelines será idéntico a como ha sido hasta ahora.
¿Cómo configurarlo?
De cara a los despliegues de la Plataforma con DataFlow, la configuración cambia ligeramente.
Para facilitar la configuración de DataFlow, se han añadido las siguientes propiedades al fichero estándar de configuración «/etc/sdc/sdc.properties»:
onesaitplatform.im.enabled=true
dpm.app.security.path=controlpanel/streamsets/auth
onesaitplatform.im.base.url=http://controlpanelservice:18000
onesaitplatform.controlpanel.api.base=http://controlpanelservice:18000
onesaitplatform.acl.get.url=controlpanel/api/dataflows/pipelines
onesaitplatform.admin.user.token=xxxxxxxxxx| Propiedad | Uso |
| onesaitplatform.im.enabled | Activa el uso de SSO. En despliegues de la versión 6.1.0 y posteriores es obligatorio que sea «true». |
| dpm.app.security.path | URL de acceso al servicio de seguridad de la Plataforma. En concreto es la ULR de acceso interno al Control Panel. |
| onesaitplatform.controlpanel.api.base | URL de acceso al servicios intermedios necesarios para DataFlow (ACLs principalmente). En concreto, es la URL de acceso interno al Control Panel. |
| onesaitplatform.acl.get.url | Path para acceso al servicio de validación de ACLs. El valor por defecto no cambia. |
| onesaitplatform.admin.user.token | Token API Key de un usuario administrador de la Plataforma. Este dato cambia en cada instalación. |
Esta es es la configuración por defecto, que funciona en todas las instalaciones habituales. La única propiedad que hay que cambiar en cada instalación es la de «onesaitplatform.admin.user.token».
Próximos pasos
Esta mejora nos permitirá en un futuro configurar los nodos de Onesait Platform (orígenes, destinos y processors) para poder hacer operaciones internas dependientes de usuario.
Imagen de cabecera: Dan Roizer en Unsplash
✍🏻 Author(s)
