Ouvimos a toda hora que “Dados” se tornaram o novo “Petróleo”, o bem mais valioso que move a economia do século XXI. Mas o quê não se comenta é que o novo “petróleo” assim como o “petróleo” original gera CO² e todos as alterações climáticas que o petróleo gera.

Você deve estar pensando, como computadores podem gerar CO²? Vamos lá, um estudo da empresa Veritas, empresa especializa em proteção de dados, lançado em Maio de 2020 apresentou o seguinte:

“...cerca de 6,4 milhões toneladas de CO² serão lançadas na atmosfera, apenas em 2020, globalmente. Este é o resultado da energia gasta no armazenamento do que é conhecido por dark data — dados que ainda não foram tratados ou que, simplesmente, não têm qualquer valor — e estão poluindo não só data centers, mas, literalmente, a natureza.”

Quando falamos de “dark data”, “raw data”, eles são provenientes de IoTs (Internet Of Things), redes sociais, e-mails etc. Muitas empresas coletam dados de diversas fontes sem um propósito definido, ou seja, sem “governança”.

Se para Inteligência Artificial, quanto mais dados tivermos melhores serão os resultados de aprendizagem de máquina, é obvio que a qualidade destes dados deve sem levada em consideração. Não adianta ter Zetabytes de dados “brutos”, eles não serão consumíveis pelos algoritmos de inteligência artificial.

Quando falamos em governança de dados, muitos executivos veem como apenas uma atividade burocrática para atender regras legais como as leis de proteção de dados (LGPD e GDPR). Porém, a prática da boa governança de dados vai muito além do cumprimento de regras legais. Ela minimiza riscos financeiros, operacionais e principalmente de imagem, este último intangível financeiramente, e com reflexos em toda a estratégia da empresa. No setor da saúde por exemplo, estamos sentindo na pele durante a atual pandemia como a falta de confiabilidade das diversas fontes de dados, podem causar erros estratégicos e a morte de milhares de pessoas ao redor do mundo.

A governança de dados é composta de um Ciclo vivo de Planejamento, Pessoas, Processos e Tecnologia. Precisamos planejar sempre, engajar as pessoas envolvidas, reavaliar os processos e só então escolher a tecnologia adequada.

Não é complexo ou caro implementar uma governança de dados eficaz, independente do tamanho da empresa. Listo a seguir alguns elementos simples de serem adotados e que permitem reduzir custos, riscos e aumentar qualidade e efetividade estratégica das empresas orientadas à dados:

1. Planejar e definir o propósito do programa de Governança de Dados da empresa, que envolva todas as áreas da empresa. Crie um comitê;

2. Estabelecer processos para tratamento e qualificação dos dados. Uma vez que você sabe o propósito da sua coleta de dados, torne-a eficaz o suficiente para coletar apenas aquilo que lhe interessa;

3. Crie um metadados centralizado, ou seja, um “Data Lake”;

4. Avalie sempre novas ferramentas de manipulação de dados, que facilitem ao usuário final consumir dados;

5. Defina critérios de acessibilidade, controles de segurança da informação;

6. Avalie sempre a possibilidade de agregar novas fontes através do uso de APIs;

7. Crie mecanismos de monitoramento da aderência de suas regras as novas leis;

8. Treine e divulgue as inovações com todos da empresa;

Um exemplo de boa aplicação da tecnologia nesta área, é o uso da inteligência artificial para gerenciar toda carga de dados, validar conteúdo que está sendo atualizado no dataframe antes que este seja armazenado e disponibilizado para uso. Automatizando apenas esta etapa do ciclo de vida de dados, já conseguiríamos ganhar tempo de processamento e armazenamento em nuvem preciosos, que são gastos em horas de trabalho de profissionais caros da área de engenharia de dados, limpando e tratando dados que foram coletados de forma inadequada.

No mercado existem várias ferramentas que permitem otimizar processos de governança de dados nas diferentes etapas do ciclo de vida de dados.

Quando falamos em otimizar o processo de coleta de dados, estamos falando de ferramentas que permitam o gerenciamento de artefatos de informações e dados. Para que possamos obter consistência dos dados, como elementos, modelos e glossários. Estas ferramentas normalmente são capazes de:

· Classificar dados com base no uso ou relevância;

· Gerenciar relacionamentos entre elementos de dados por meio de hierarquias ou taxonomias;

· Recursos de versionamento, ter informações específicas sobre a versão é essencial para as atualizações efetivas de monitoramento e restauração de versões anteriores, quando necessário;

· Gerar Relatórios históricos, para demonstrar quaisquer modificações e as fontes dessas modificações, incluindo metadados;

· Recursos de reversão, ou seja (ROLLBACK), uma vez em execução deve poder retornar ao estado mais recente com o nome da transação 'ROLLBACK' no caso de o processo de execução falhar.

Mas antes de optar por uma ferramenta, o comitê de Governança deve rastrear todo seu processo de coleta, análise, publicação, armazenamento, recuperação e destruição de dados. Automatizar processos equivocados com uso de IA, só tornarão exponenciais os problemas atuais da empresa quanto a gestão de dados.

Uma vez que se tenha controle e propósito em relação aos dados que uma organização gera e coleta, ela conseguirá sim extrair o real valor dos dados e sem causar danos a natureza.

Fontes:

Site The Hack - https://thehack.com.br/dark-data-sera-responsavel-por-emitir-6-4-milhoes-de-toneladas-de-co2-na-atmosfera-em-2020/

Site Strategic Finance - https://sfmagazine.com/post-entry/september-2019-ai-in-data-governance/

BIG-Data International Campus - https://www.campusbigdata.com/big-data-blog/item/129-la-parte-oscura-del-big-data-dark-data