Ojo al dato: el Big Data crece en ING
En 2018 trabajábamos con Hortonworks, pero nos dimos cuenta de que necesitábamos darle una vuelta de tuerca y conseguir una plataforma más usable que permitiese que las tecnologías de Big Data llegasen a cualquier usuario, independientemente de su conocimiento sobre esta tecnología.
Para ello nos propusimos 3 retos:
- Ingestar información de forma automática desde cualquier fuente. Actualmente hemos conseguido superarnos y podemos ingestar información automáticamente de ficheros, BBDD y Kaftka, que nos permiten montar nuestro propio Data Lake en HDFS.
- Procesar información de forma autónoma por parte de los equipos. A día de hoy hemos conseguido tener un esqueleto de proyecto que supone un mínimo esfuerzo por parte de los equipos. Lo único que se les pide es "programar" queries SQL, con lo que pueden aprovechar las capacidades Big Data sin que requiera demasiado conocimiento técnico.
- Ejecución de modelos predictivos. Ya hemos conseguido algún modelo productivo, pero nuestro mayor reto es el MLOps.
Todos estos retos los hemos superado a pesar de que el 2020 ha sido un año difícil para todos, pero lo hemos conseguido gracias a un equipo con un ambiente muy bueno, en el que todos participamos y donde todos aportamos.
Aunque nuestro gran reto sigue siendo conseguir que la gran mayoría pensemos en data en nuestro día a día y saquemos el máximo partido a esta tecnología.