O papel das ferramentas de ETL no suporte à tomada de decisão

Com o crescimento do Business Intelligence (BI), observamos diferentes arquiteturas cada vez mais ágeis, com alto volume de dados para suporte à tomada de decisões, oriundos de diferentes fontes e plataformas. É aqui que se encaixam as tecnologias e métodos para ETL (do inglês, Extract-Transformation-Load).

As ferramentas de ETL permitem acessar dados de várias origens (sources), transformá-los de acordo com as regras e validações do negócio e carregá-los nos mais variados sistemas de destino (targets). Elas oferecem benefícios significativos, tais como controles especiais de carga, performance, conectividade com diversos tipos de sources e targets, além de uma interface de desenvolvimento amigável.

Vale mencionar que, como em outros tipos de projetos, é essencial que se tenha claro os requisitos de negócio. Ademais, deve-se levar em conta que estamos normalmente falando de um grande volume de dados, que podem ser críticos para a tomada de decisão de negócios, por meio de relatórios (reports), ferramentas OLAP (do inglês, Online Analytical Processing) e mineração de dados (data mining). Logo, é essencial que ao conduzir esses projetos sejam tomadas as medidas necessárias para garantir o sucesso do mesmo, independente das ferramentas utilizadas.

Um dos empecilhos encontrados na implantação desses projetos e dessas ferramentas se deve ao alto custo e a complexidade, porém existem meios de se obter bons resultados sem desperdiçar dinheiro.

Vamos tentar contextualizar as etapas desses projetos e de uso dessas ferramentas.

Antes de iniciar a extração, é fundamental o entendimento dos dados que precisamos obter e é essencial realizar validações e avaliações prévias e iniciais aos processos ETL. A partir do entendimento dos dados, selecionamos quais deles são realmente importantes e necessários para prosseguir nas demais etapas do processo: transformação e efetivamente a carga final.

A etapa mais trabalhosa de todo o processo é a transformação, uma vez que aqui efetivamente a mágica acontece. Nessa etapa, são aplicadas as regras de negócios requeridas para que os destinos sejam alimentados de maneira correta e coerente.

Carga, finalmente! A última etapa do processo ETL se concentra na carga de dados no destino. É um processo que deve ser bem pensado para manter desempenho adequado e especialmente a tempestividade dos dados para que possam ser usados na tomada de decisão.

As ferramentas ETL da atualidade possuem meios de garantir boa performance durante os processos, muitas dão suporte para cloud e auxiliam na tomada de decisões baseados em informações obtidas das mídias sociais, pode inclusive auxiliar plataformas Hadoop (por exemplo para conversões de dados estruturados e não estruturados).

Um dos maiores desafios hoje para os processos ETL são a criticidade e o custo para os projetos,  as más práticas realizadas durante o desenvolvimento do projeto mesmo utilizando ferramentas tão robustas. Más práticas podem ser extremamente prejudiciais tanto para projetos ETL quanto outros tipos de projetos utilizando ou não boas ferramentas.

Os processos e as ferramentas ETL possuem um alto custo, porém seguindo boas maneiras de se trabalhar com ambos, o retorno do investimento virá de maneira natural e sua criticidade tende a diminuir com a segurança que essas ferramentas podem dar de maneira eficiente e eficaz auxiliando assim a gestão na tomada das decisões com os dados entregues na hora certa e de maneira correta.

*João Carlos Junior é analista de sistemas da GFT Brasil. Este artigo foi publicado originalmente em Computerworld.com.