Gerenciamento de dados
O gerenciamento de dados é a prática de organizar e manter os processos de dados para atender às necessidades de informações do ciclo de vida contínuo. A ênfase no gerenciamento de dados começou com a era eletrônica do processamento de dados, mas os métodos de gerenciamento de dados têm raízes na contabilidade, estatística, planejamento logístico e outras disciplinas que antecedem o surgimento da computação corporativa em meados do século 20.
Evolução e benefícios do gerenciamento de dados
A partir da década de 1960, a Associação de Organizações de Serviços de Processamento de Dados (ADAPSO) tornou-se um dos poucos grupos que apresentou as melhores práticas para gerenciamento de dados, especialmente em termos de treinamento profissional e métricas de garantia de qualidade dos dados. Com o tempo, a informação se tornou mais popular do que os dados como termo para descrever os objetivos da computação corporativa, como visto, por exemplo, na renomeação da ADAPSO como Associação de Tecnologia de Informação da América (ITAA). Ou da Associação Nacional de Microfilmes renomeada como Associação para Gestão de Imagem e Informação (AIIM), mas as práticas de gerenciamento de dados continuaram a evoluir.
Na década de 1970, o sistema de gerenciamento de banco de dados relacional começou a surgir no centro dos esforços de gerenciamento de dados. Com base na lógica relacional, o banco de dados relacional forneceu meios aprimorados para garantir o processamento consistente de dados e para reduzir ou gerenciar dados duplicados. Essas características eram essenciais para aplicações transacionais. Com o surgimento do banco de dados relacional, modelagem de dados relacionais, criação de esquema, desduplicação e outras técnicas avançadas se tornaram partes importantes da prática comum de gerenciamento de dados.
A década de 1980 viu a criação da Associação Nacional de Gestão de Dados, ou DAMA International, fundada para aprimorar a educação relacionada a dados. Os dados emergiram novamente como um termo descritivo primário quando os profissionais de TI começaram a construir data warehouses empregando técnicas relacionais para análise de dados offline, que deram aos gerentes de negócios uma visão melhor das principais tendências de suas organizações para a tomada de decisões de negócios. A modelagem, o esquema e o gerenciamento de mudanças exigiram tratamentos diferentes com o advento do data warehouse, que melhorou as visões das operações da organização.
Tipos de gerenciamento de dados
A DAMA International e outros grupos trabalharam para avançar no entendimento de várias abordagens do gerenciamento de dados. Uma dessas abordagens, o gerenciamento de dados mestres (MDM), por exemplo, é um método abrangente que permite a uma empresa vincular todos os seus dados críticos a um arquivo, chamado de arquivo mestre, que fornece um ponto de referência comum. Gerenciamento de dados, gerenciamento de qualidade de dados, governança de dados, MDM e gerenciamento de segurança de dados estão entre os componentes das práticas de gerenciamento de dados de muitos profissionais. A DAMA, entre outros grupos que supervisionam as certificações na competência de gerenciamento de dados, criou o Guia DAMA para a Gestão do Corpo de Conhecimento, ou DAMA DMBOK, que tenta definir uma visão padrão da indústria das funções e métodos de gerenciamento de dados.
A visão dos dados como um ativo corporativo e a preocupação com as responsabilidades relacionadas a eles aumentaram com o tempo. Os profissionais de gerenciamento de dados têm a tarefa de encontrar maneiras de monetizar os dados corporativos, seja simplificando o processo, melhorando os produtos existentes ou vendendo dados diretamente.
O gerenciamento eficiente de dados corporativos tem crescido em importância à medida que as empresas estão sujeitas a um número crescente de regulamentações de conformidade. Ao mesmo tempo, o grande volume de dados que deve ser gerenciado pelas organizações aumentou tanto que, às vezes, é chamado de big data.
Tarefas de gerenciamento de dados
Muitos administradores de dados são responsáveis pela segurança das informações corporativas e pelos aspectos legais das mesmas. Registros financeiros mais rígidos e requisitos de proteção ao consumidor são orientados por legislações ou regulamentações, incluindo Basel III, a Lei Sarbanes-Oxley e as políticas do Padrão de Segurança de Dados da Indústria de Cartões de Pagamento (PCI-DSS).
As responsabilidades sobre o gerenciamento de dados relacionadas à privacidade aumentaram nos últimos anos, especialmente à luz dos hacks de alto perfil que ocorreram no varejista Target, em 2013, e na Equifax, em 2017. Um padrão europeu de dados conhecido como Regulamento Geral sobre a Proteção de Dados (GDPR) também se tornou o foco do planejamento de projetos de gerenciamento de dados na Europa e além.
À medida que as tecnologias de dados se expandiram, o domínio do gerenciamento de dados também se expandiu. Volumes crescentes de dados e processamento em tempo real deram lugar a frames de dados como Hadoop e Spark. A variedade de dados também cresceu. Os tipos de dados não estruturados têm procedimentos complicados de modelagem e deram início a uma variedade de bancos de dados que não usam SQL, a linguagem de consulta estruturada intimamente associada ao uso de bancos de dados relacionais. Coletivamente, as novas tecnologias caíram sob a bandeira do big data. O grupo de analistas do Gartner listou análises em banco de dados, processamento de fluxo de eventos, bancos de dados gráficos, armazenamentos de valores-chave e livros contábeis distribuídos como algumas das tecnologias de gerenciamento de dados a serem consideradas no futuro.
História do gerenciamento de dados
O primeiro florescimento da disciplina de gerenciamento de dados foi em grande parte impulsionado por profissionais de TI que se concentraram em resolver o problema do lixo que entra e do lixo que sai (Garbage In, Garbage Out, GIGO). Esse problema tornou-se aparente com mainframes mais antigos, quando raros computadores chegaram a conclusões falsas porque receberam dados imprecisos ou inadequados.
Figuras notáveis na história do gerenciamento de dados incluem E.F. "Ted" Codd, que concebeu o modelo relacional para gerenciamento de banco de dados; Ralph Kimball, que criou a teoria da modelagem dimensional para armazenamento de dados; Bill Inmon, autor e tecnólogo de armazenamento de dados; Jim Gray, que ajudou a promover o bloqueio de banco de dados granular; e Michael Stonebraker, que construiu bancos de dados relacionais para os primeiros computadores de médio porte antes de participar do desenvolvimento de uma série de bancos de dados em colunas, orientados a fluxo e a objetos.
As abordagens de gerenciamento de dados eventualmente permearam o que veio a ser conhecido como ciclo de vida dos dados, abrangendo a criação, armazenamento, processamento, arquivamento e, às vezes, destruição de dados.
