En estos días estoy renegando con un proyecto que en una de sus etapas requiere procesos ETL. Me fue encomendada la grata tarea de decidir con que software debíamos hacer esto, lo primero que se me vino a la mente fue Oracle Warehouse Builder, que nunca había usado pero si escuchado y como teníamos que integrar los datos a una BD Oracle me parecía la mejor solución, antes de hacer nada con esto me dijeron que pruebe con LiveCycle (Software del cual seguramente voy a escribir más adelante) Pero después de renegar mucho y lograr poco se decidió no utilizar esta herramienta. La aparente solución (digo aparente porque todavía no se implemento) vino de la mano de uno de los productos de Pentaho, Kettle.

Pentaho es una plataforma que brinda distintas soluciones a nivel de inteligencia de negocios, y lo mejor de todo, es open source. Una de las herramientas de Pentaho es Kettle del cual voy a escribir.

Bajarlo es tan simple como hacer un clic y listo, la descarga contiene los archivos para ser ejecutado en Windows o Linux. En el caso de Windows, que es donde lo probé, solo tienes que descomprimir el paquete y ejecutar el archivo Kettle.exe y listo.

Grafico costo/tiempo donde se compara

un ETL propietario, uno desarrollado 

por nosostros y uno open source

Debo confesar que tenía miedo de lo complicado que podría ser esta herramienta en su uso, me parece que es un fantasma que tienen los software open source, pero me equivoqué, tiene una interfaz realmente intuitiva, y pude desarrollar una transformación en unos minutos sin esforzarme demasiado.

Las pruebas de concepto que realice fueron más que exitosas, por ejemplo, pasar un archivo de texto plano o csv a una tabla Oracle, me lo ejecuto en 2.6 segundos insertando 11.975 registros . El esquedulado (activar un proceso cada tanto tiempo) funciona perfecto, podemos activar un trabajo diariamente, mensualmente o anualmente. El único problema que estoy teniendo es el de hacer un proceso que “vigile una carpeta” esto quiere decir que cuando yo inserte un archivo en una carpeta, por ejemplo un .txt, el proceso lo tome y lo transforme, pero estoy cerca de lograrlo, cuando lo hago voy a subir un tutorial. En resumen, hay muchas herramientas para ETL, sin haber probado todas, mi humilde opinión es que Kettle es una muy buena con la que podremos obtener resultados muy rápidamente.

¡Compártelo!