MinIO como repositorio de ficheros
MinIO es un motor de almacenamiento de objetos en la nube compatible con el API de Amazon S3.
Ofrece características muy interesantes, como:
- Alta disponibilidad de los datos en configuraciones Activo-Activo, con tantas instancias distribuidad del servidor MinIO como sean necesarias para garantizar la alta disponibilidad.
- Alto rendimiento con velocidades de lectura y escritura de 183 Gb/s y 171 Gb/s.
- Replicación activa de datos, ya que cada servidor mantiene al menos una copia de los datos. Se puede configurar cuantas copias de los datos mantenga cada servidor.
- Compartición, versionado y bloqueo de objetos.
- Despliegue nativo en Cloud público y privado, basado en kubernetes.
- Seguridad y encriptación de los datos.
Con MinIO, disponemos de un almacenamiento seguro de nuestra información, donde cada usuario dispone de su propio directorio raíz, conocido como «bucket», a partir del cual puede organizar su información con una estructura clásica de subdirectorios y con la ventaja de poder gestionar diferentes versiones del mismo objeto y compartirlas con otros usuarios.
En la Plataforma, MinIO se ha incorporado como repositorio para ofrecer a los usuarios almacenamiento de todo tipo de ficheros, tanto estructurados como sin estructurar. Esto proporciona a la Plataforma dos nuevas funcionalidades:
- Repositorio de ficheros tanto para procesar en la Plataforma (Notebooks, Dataflows, etc.) como para respaldo de información de las aplicaciones vía API S3.
- Motor de persistencia para la creación de Datalakes, mediante el almacenamiento de ficheros con información estructurada y utilizando Presto como motor de consultas SQL a dichos ficheros.
Todos los usuarios de la Plataforma con roles de «Developer», «Analytics» y «Administrator» , podrá utilizar MinIO de manera integrada en el Control Panel, accediendo mediante la opción de menú Dev Tools > My Object Store.
En esta pantalla se puede hacer una gestión total de los ficheros del propio usuario, así como de aquellos ficheros a los que ha sido autorizado por otros usuarios. Incluye funcionalidades como:
- Subir ficheros.
- Actualizar ficheros.
- Borrar ficheros.
- Compartir ficheros con otros usuarios.
- Copiar url de descarga vía API S3.
- Descargar/actualizar ficheros de otros usuarios a los que he sido autorizado.
- Visualizar la estructura del bucket del usuario (directorios, subdirectorios y ficheros).
Los administradores de la plataforma son tratados como el resto de usuarios en cuanto a lo de disponer de su propio bucket en MinIO y poder compartir ficheros. Pero a efectos de monitorización y administración del servidor MinIO, disponen de otra opción de menú en la que tienen control total sobre la consola de MinIO y desde la que pueden gestionar: usuarios, buckets, políticas de seguridad…
Un administrador podrá acceder a la consola de administración de MinIO a través de Dev Tools > Object Store Management.
A continuación os dejamos un vídeo de ejemplo en el que mostramos cómo se utiliza este repositorio de archivos:
Esperamos que os haya parecido interesante. Si tenéis cualquier duda, por favor dejadnos un comentario al respecto.
YouTube | Integración de MinIO con la Onesait Platform
Portal de Desarrollo | Integrar MinIO como Object Storage
Pingback: Datalake con MinIO y PrestoDB – Onesait Platform Blog