Integração e gestão de dados permanecem em destaque em 2023

Data fabric x demais estruturas

Se, em um primeiro momento, estruturas monolíticas –como Data Warehouse, Data Lake e Data LakeHouse– parecem atraentes pela sua simplicidade para gerenciar acesso, segurança e governança, ao se aprofundar nota-se que, na verdade, elas têm uma série de desvantagens.

Uma delas é que essas estruturas nunca conseguiram acabar com sistemas legados, ou seja, os dados distribuídos não desaparecem quando são inseridos em um data warehouse, por exemplo. “Ao serem criadas, vimos que as arquiteturas centralizadas nunca eliminaram completamente os silos de informação. Uma série de dados continuava fora do Data Warehouse, como dados de internet e de redes sociais, por exemplo”, explica Duarte.

Para unificar os dados num único lugar, surgiram os data lakes. “De fato, isso aumentou a abrangência em comparação ao Data Warehouse, mas, ainda assim, seguimos com dados fora do Data Lake. Um dado em streaming, que seja entregue via API ou em tempo real, cada vez mais comum nos dias de hoje, fica de fora obrigatoriamente, pois não dá tempo de ser inserido, ou seja, passar por todo um processo de gestão antes de ser armazenado. Porque, até isso acontecer, o dado já perdeu seu valor ou até mesmo deixou de existir!”, acrescenta o executivo da Denodo.

Desse modo, com fontes de dados que estão sempre surgindo, o trabalho dos profissionais de TI nunca termina. “O cliente pode até achar que usa poucas fontes, como SQL Server, Oracle e Redshift. Contudo, esquece que, ao mesmo tempo, ainda conta com diversos arquivos em Excel, por exemplo. Tudo isso conta como fonte!”, analisa. “Se um projeto para consolidar três fontes em um Data Lake leva bastante tempo, imagine mapear mais de 500 fontes para integrar nessa estrutura. Isso é economicamente inviável”, completa.

Para se ter uma ideia, grandes corporações que usam a plataforma Denodo têm, em média, mais de 400 fontes de dados utilizadas em suas análises –e, em 20% delas, mais de 1000. Evitar o uso de vários sistemas torna o processo menos complexo e mais ágil aos usuários finais.

“A tecnologia mudou e as empresas ainda não se beneficiam dos avanços completamente. O Data Lake surgiu em 2011. São mais de 10 anos de evolução desde então. No universo da tecnologia, isso é uma eternidade. Em 2011, o celular mais moderno era o iPhone 4 com tecnologia 3G! Você ficaria satisfeito com a velocidade de entrega de uma rede 3G nos dias de hoje? Por que então as empresas ainda se contentam com a lentidão de abordagens do passado, quando já temos tecnologia para entregar dados de maneira muito mais simples, rápida e segura?”, finaliza Guilherme Duarte.