Nuevas características

Mejoras en el módulo de DataFlow

Hasta ahora, todo lo relacionado con DataFlow se ha ido realizando con usuarios internos de Dataflow Streamsets Data Collector. A partir de la versión 6.1.0 de Onesait Platform hemos implementado el SSO con DataFlow, de tal manera que a nivel de Streamsets, serán los mismos usuarios de la Plataforma los que registren todas las operaciones realizadas, en vez de hacerlo con usuarios propios de la aplicación.

Esto nos permite entre otras cosas, tener un mayor control de quién ejecuta qué. Por ejemplo, podemos ver tanto en los logs como en el histórico de ejecuciones quién ejecuta cada proceso:

Histórico: cada ejecución refleja el usuario que la lanzó.
Logs: reflejan el usuario que lanzó el proceso.
Pipeline Manager: muestra usuarios de la Plataforma.

De cara al usuario final de Onesait Platform, este cambio es totalmente transparente. Para el usuario, el funcionamiento del módulo DataFlow y el desarrollo y ejecución de los pipelines será idéntico a como ha sido hasta ahora.

¿Cómo configurarlo?

De cara a los despliegues de la Plataforma con DataFlow, la configuración cambia ligeramente.

Para facilitar la configuración de DataFlow, se han añadido las siguientes propiedades al fichero estándar de configuración «/etc/sdc/sdc.properties»:

onesaitplatform.im.enabled=true
dpm.app.security.path=controlpanel/streamsets/auth
onesaitplatform.im.base.url=http://controlpanelservice:18000
onesaitplatform.controlpanel.api.base=http://controlpanelservice:18000
onesaitplatform.acl.get.url=controlpanel/api/dataflows/pipelines
onesaitplatform.admin.user.token=xxxxxxxxxx
PropiedadUso
onesaitplatform.im.enabledActiva el uso de SSO. En despliegues de la versión 6.1.0 y posteriores es obligatorio que sea «true».
dpm.app.security.pathURL de acceso al servicio de seguridad de la Plataforma. En concreto es la ULR de acceso interno al Control Panel.
onesaitplatform.controlpanel.api.baseURL de acceso al servicios intermedios necesarios para DataFlow (ACLs principalmente). En concreto, es la URL de acceso interno al Control Panel.
onesaitplatform.acl.get.urlPath para acceso al servicio de validación de ACLs. El valor por defecto no cambia.
onesaitplatform.admin.user.tokenToken API Key de un usuario administrador de la Plataforma. Este dato cambia en cada instalación.

Esta es es la configuración por defecto, que funciona en todas las instalaciones habituales. La única propiedad que hay que cambiar en cada instalación es la de «onesaitplatform.admin.user.token».

Próximos pasos

Esta mejora nos permitirá en un futuro configurar los nodos de Onesait Platform (orígenes, destinos y processors) para poder hacer operaciones internas dependientes de usuario.


Imagen de cabecera: Dan Roizer en Unsplash

✍🏻 Author(s)

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *