Implementación de un Data Lake de los datos de uso del LMS Canvas de la Universidad Internacional SEK.

Abstract

Los datos se han convertido en las nuevas minas de oro, todo en el mundo actual gira en torno a estos. A lo largo de la historia se han usado diversos medios de almacenamiento de datos: libretas físicas, diskettes, casetes, unidades de memoria, discos duros, entre otros. Sin embargo, el ritmo de crecimiento de los datos se ha elevado exponencialmente, lo cual ha generado la necesidad de cambiar la forma tradicional en la cual se los almacenaba anteriormente. Las industrias hoy cuentan con sus propias estructuras y bases de datos con gran capacidad de almacenamiento y de diferente tipo; no obstante, el mismo crecimiento de los datos ha demandado la importancia de suplir necesidades del negocio de manera flexible y rápida, lo cual ha dado paso a la incursión del Big Data y con ello de la mano la aplicación de Data Lakes los cuales se pueden implementar en diversas ramas como la educación, salud, finanzas entre otras. En este estudio se propone la creación e implementación de un Data Lake con los datos del LMS de Canvas de la Universidad Internacional SEK, el cual permita la posibilidad de almacenarlos en un único repositorio con mayor flexibilidad, sin procesarlos previamente y con la finalidad de utilizar los mismo para realizar análisis de datos, aprendizaje automático, entre otras aplicaciones. De manera general, en el presente trabajo se aplicaron los principios del Big Data con la finalidad de que los datos que actualmente se almacenan en el Sistema de Gestión del Aprendizaje (Canvas), se carguen íntegros a un directorio HDFS creado en un entorno de Hadoop para almacenarlos. Para ello se utilizó el API de conexión de Canvas por medio de Python con el objetivo de descargar las tablas del último dump, además se generaron scripts para realizar la creación de: directorios en HDFS, tablas en Hive e ingesta de los datos descargadas de manera automática; finalmente, se generó una tarea programada para que los procesos descritos se ejecuten a diario. Finalmente, como resultado del trabajo realizado la UISEK tiene implementado un lago de datos, el cual se actualiza diariamente con la información descargada del LMS de Canvas