Análise de big data

A análise de “big data” é o processo de examinar grandes quantidades de vários tipos de dados (big data) para descobrir padrões ocultos, correlações desconhecidas e outras informações úteis. Essas informações podem fornecer vantagens competitivas em organizações rivais e resultar em benefícios para os negócios, como um marketing mais eficaz e maior receita.  

O principal objetivo da análise de big data é ajudar as empresas a tomarem melhores decisões de negócios, permitindo que cientistas e outros usuários analisem grandes volumes de dados transacionais, bem como outras fontes de informações que possam ter ficado sem explorar pelos programas convencionais de business intelligence (BI). 

Essas fontes de dados podem incluir logs do servidor web e informações de rastreamento de cliques na internet, relatórios de atividades de mídias sociais, meios de comunicação, telefones celulares, registros detalhados de chamadas e informações capturadas por sensores. 

Algumas pessoas associam big data e big data analytics exclusivamente a dados não estruturados, mas consultorias como o Gartner e a Forrester Research Inc. também consideram as transações e outros dados estruturados como formas válidas de big data. 

A análise de big data pode ser feita com ferramentas de software comumente usadas em disciplinas analíticas avançadas, como análise preditiva e data mining. No entanto, as fontes de dados não estruturados usadas para análise de big data podem não se encaixar em data warehouses tradicionais. Além disso, esses recursos podem não ser capazes de gerenciar as demandas de processamento de big data. 

Como resultado, uma nova categoria de tecnologia surgiu e está sendo usada em muitas análises de big data. Elas incluem bancos de dados NoSQL, Hadoop e MapReduce. Essas tecnologias formam o núcleo de uma estrutura de software de código aberto que oferece suporte ao processamento de grandes volumes de dados em sistemas de cluster. 

Os potenciais perigos, que podem representar obstáculos às iniciativas de análise de big data nas organizações, incluem a falta, internamente, de habilidades analíticas e o alto custo de contratação de profissionais com essa experiência de análise, bem como desafios na integração de sistemas Hadoop e data warehouses, embora os fornecedores estejam começando a oferecer conexões de software entre as tecnologias.