As empresas estão atualmente vivendo em competição contínua, a pressão de uma guerra cibernética. Eles são submetidos diariamente a uma adaptação constante, por exemplo: a nuvem, dispositivos móveis, aprendizado de máquina e a Internet das Coisas (IoT), entre muitas outras inovações.

Para se mover rapidamente, as empresas estão lutando para implementar a inovação dentro de sua força de trabalho. Eles fizeram grandes avanços em sua transformação ágil, eles começaram sua jornada para a nuvem, eles implementaram novas práticas de DevOps, eles contrataram as pessoas melhores e mais brilhantes para tirar proveito das mais recentes tecnologias e processos. No entanto, eles permanecem decepcionados com os resultados. Na verdade, 84% de empresas ainda não conseguem realizar a transformação digital, em parte porque não abordam um dos aspectos mais críticos da nova economia digital: dados.

E cada empresa é agora uma empresa de software, esta mudança de mercado, onde os produtos são mais complexos e exigem mais recursos para atender a demanda por experiências personalizadas, exige uma estratégia de dados sofisticados. Dados e acesso a ele são uma vantagem competitiva: aqueles que podem alavancar dados para impulsionar a inovação vai ganhar.

Os dados, situação atual

O principal problema não é os dados propriamente dito, mas o conceito conhecido como atrito de dados, que ocorre quando as restrições de dados impedem as pessoas de atender às crescentes demandas do negócio.

Por um lado, há uma explosão nas necessidades de dados, usuários e ambientes que exigem que os dados sejam ondeele é necessário, para quem precisa dele, da maneira que é mais adequado para a tarefa em mãos.

Por outro lado, os dados cresceram exponencialmente em tamanho, complexidade e custo com crescentes preocupações de segurança e privacidade, o que significa que os especialistas em ti devem limitar e proteger o acesso e a disponibilidade de dados.

Como resultado, as empresas estão em volvidos em uma batalha entre dados-fricção e pessoas, processos e tecnologia. Por um tempo, as empresas avançaram usando a nuvem e o DevOps. A entrega de ambientes de ti passou de semanas em minutos, com uma infraestrutura automatizada, elástica e demanda. Mas os dados não se parecem com cálculos. O tratamento de dados é, caro para manter, cheio de informações confidenciais, difícil de copiar, difícil de rastrear ao longo do tempo, e lento para entregar a computadores que precisam dele.

Embora a nuvem e o DevOps tenham ajudado, em última análise, são insuficientes. Como o DevOps e a nuvem quebraram barreiras entre pessoas e infraestrutura, o surgimento de mais ambientes, mais automação e mais velocidade significava aumento da demanda de dados. Especialistas em ti ainda estão lutando para gerenciar, proteger e entregar os ambientes de dados exigidos pelo negócio. E os usuários ainda têm dificuldade em acessar, manipular e compartilhar as informações de que necessitam.

De acordo com a pesquisa “força em números: como a tomada de decisão baseada em dados afeta o desempenho da empresa?”, conduzida por Erik Brynjolfsson e Heekyung Kim do MIT, junto com Lorin M. Hitt da Universidade da Pensilvânia, empresas que se chamavam com base em os dados eram um 5% mais produtivo e um 6% mais rentável do que seus concorrentes.

DataOps

Quando o atrito de dados se torna o bloqueador de inovação, os clientes saem, os concorrentes ganham e as empresas passam mais tempo reagindo ao invés de liderar.

Mas isso não tem que acontecer, as empresas podem ganhar. A ti pode superar o custo, a complexidade e o risco para se tornar um facilitador de negócios. Os usuários podem obter os dados que precisam para desbloquear sua capacidade de inovação. E todos podem trabalhar como uma única equipe para gerar resultados maciços para o negócio. Abordar tudo isso requer uma nova abordagem, uma que faz para os dados que o DevOps fez para a infraestrutura, DataOps.

De acordo com a Gartner, DataOps é o centro de coleta e distribuição de dados, com um mandato para fornecer acesso controlado aos sistemas de registro de clientes e dados de desempenho de marketing, protegendo a privacidade, restrições de uso e integridade dos dados. Ele tem como objetivo melhorar os resultados, reunindo aqueles que precisam de dados com aqueles que o fornecem, eliminando a fricção de dados durante todo o ciclo de vida dos dados.

Como funciona?

Dominar DataOps exige superar as barreiras organizacionais e culturais que separam as pessoas dos dados. Comece juntando dois públicos-chave como uma equipe:

  • Operadores de dados: Responsável pela infraestrutura, segurança e manutenção. Inclui DBA, segurança e conformidade, administradores de sistema e muito mais.
  • Consumidores de dados: Responsável pelo uso de dados para impulsionar novos projetos e inovação. Inclui desenvolvedores, testmen, cientistas de dados, analistas e muito mais.

Mas toda a transformação cultural no mundo não vai ajudar se a sua infra-estrutura não pode suportar as novas demandas que são colocadas sobre ele. DataOps também requer uma abordagem tecnológica abrangente que elimina pontos-chave de atrito em:

  • Governança: Segurança, qualidade e integridade de dados, incluindo controles de auditoria e acesso.
  • Operação: Escalabilidade, disponibilidade, monitoramento, recuperação e confiabilidade dos sistemas de dados.
  • Entrega: Distribuição e provisionamento de ambientes de dados.
  • Transformação: Modificando dados, incluindo mascaramento de plataforma e migração.
  • Version Control: Capture dados conforme ele muda ao longo do tempo, com a capacidade de acessar, publicar e compartilhar Estados entre usuários e ambientes.

Para fazer o trabalho de dados, o mandato de gestão executiva é necessário para o acesso a dados democratizado, uma infra-estrutura de dados centralizada, analistas de dados/cientistas e equipamentos de dados.

DataOps permite que empresas orientadas por dados

Ashish Thusoo, ofereceu uma definição mais pragmática:

“O DataOps é uma nova maneira de gerenciar dados que promovem a comunicação e a integração de dados, equipes e sistemas previamente isolados, alavancam a mudança de processo, o realinhamento organizacional e a tecnologia para facilitar as relações entre todos os aqueles que lidam com os dados, sejam eles desenvolvedores, engenheiros de dados, cientistas de dados, analistas e/ou usuários corporativos. DataOps conecta de perto as pessoas que coletam e preparam os dados, aqueles que analisam os dados, e aqueles que usam os achados dessas análises para uso comercial bom”

A abordagem da thusoo aos dados e uma cultura orientada por dados consiste em uma equipe que publica dados e gerencia a infraestrutura usada para publicar essas informações, e as responsáveis por tomar decisões de negócios que normalmente têm cientistas analistas em suas equipes, para fazer backup.

No modelo Thusoo, cientistas de dados ou analistas de dados são integrados em unidades de negócios, como finanças, vendas, marketing, etc. Eles trabalham com líderes de negócios para identificar perguntas, identificar os conjuntos de dados a serem analisados e, em seguida, traduzi-los em SQL (linguagem de consulta estruturada) ou em uma linguagem mais sofisticada. O trabalho é então entregue à equipe de dados.

Outros modelos de DataOps, como o oferecido por Ellen Friedman e Ted Dunning, giram em torno de “organizar equipes em torno de metas relacionadas a dados para um tempo mais rápido.” Eles sugerem que os membros da equipe DataOps podem vir de operações de produtos, engenharia de software, arquitetura e planejamento, ciência de dados, engenharia de dados e gerenciamento de produtos.

Ao contrário de Thusoo, Dunning e Friedman observaram que as capacidades de infraestrutura em torno da plataforma e da rede de dados (necessidades que afetam todos os projetos) tendem a ser suportadas por equipes de DataOps por organizações de dataOps Apoio.

Possíveis falhas

O resultado que é procurado após adotar DataOps é a diminuição nos silos de informações dentro de uma organização. Esses silos são causados quando os analistas dependem de soluções de autoatendimento, mas não se comunicam com outros departamentos que podem ter necessidades semelhantes.

Essa falta de comunicação pode levar a erros de dados. Como um grupo ou departamento pode examinar os dados e interpretá-los diferentemente de outro, com base em critérios diferentes. De acordo com pesquisas conduzidas pelo MIT, esses erros de comunicação podem ser refletidos entre 15 e 25% na receita de uma empresa.

Especialistas em análise de dados e profissionais de marketing devem estar cientes de que os desenvolvimentos de DevOps e DataOps incluem auditorias, assegurando que o conteúdo e as tarefas associadas atendam ao nível Necessário.

Controle de versão melhora a qualidade

Plataformas como o GitHub garantem que as equipes usem a versão certa do DevOps, ajudando a manter a qualidade. Essas medidas se espalharam para a ciência dos dados, e é que os profissionais devem aprender a compartilhar projetos de qualidade. Como trabalhar com a melhor versão, oferece melhores condições para elevar a qualidade dos dados e o desempenho dos negócios.

O gerenciamento de dados por meio do controle de versão também ajuda a melhorar a segurança do algoritmo. De acordo com um estudo da Forrester, as ferramentas de devOps e DataOps deverão proliferar entre dispositivos e indústrias ao longo de 2018.

Exemplos de tais ferramentas para DataOps seria: MapR fornecer soluções de negócios úteis, em vez de projetos de ciência da computação. Tamr chama sua estratégia de DataOps “Unificação de dados corporativos”. DelphiX fala sobre sua “plataforma de dados dinâmicos”. O software de switchboard oferece sua própria plataforma de DataOps.