A Resposta Breve

A regra antiga era "para analisar um dado, primeiro copie-o". O Zero Copy, em muitos casos, anula essa premissa: é possível consultar uma tabela que reside em um data warehouse externo sem transferi-la. Esta é uma capacidade real, mas ela troca um tipo de custo por outro – em vez de custo de armazenamento e pipeline, obtém-se custo de processamento e dependência da disponibilidade da fonte.

A decisão correta é tratá-la como qualquer decisão de arquitetura: baseada em requisitos de uso, não em modismos.

Quatro Parâmetros Decisivos

ParâmetroPendendo para Zero CopyPendendo para Ingestion
FreshnessDados mais atualizados são sempre necessáriosCiclos agendados são suficientes
DesempenhoAnálise e segmentação, tolerância a segundosOperação em tempo real, tempo de resposta constante
Volume e FrequênciaGrande volume, poucas consultasVolume médio, muitas consultas
GovernançaA fonte mantém uma política robustaControle total sobre a cópia é necessário

Esta tabela também explica por que a maioria das organizações adota uma abordagem híbrida: fluxos operacionais são ingeridos, enquanto fluxos analíticos pesados permanecem no local.

O Que Permanece sob a Responsabilidade da Equipe, Mesmo com Zero Copy

O acesso virtual remove o pipeline, não o trabalho. Ainda são necessários: mapeamento de esquema para o modelo comum, decisão sobre chaves de identificação para unificação de perfil, tratamento de mudanças de esquema na origem e monitoramento de disponibilidade. Uma mudança no nome de uma coluna no data warehouse externo quebrará a visualização virtual, assim como quebraria um ETL.

Portanto, o acordo com a equipe de dados que mantém a fonte é parte da implementação: aviso prévio sobre mudanças de esquema, janela de manutenção conhecida e orçamento de consultas acordado.

Padrões Híbridos Eficazes

Resumo para dentro, detalhe para fora – Valores resumidos por cliente são inseridos na camada de unificação, e as linhas de detalhe são mantidas no data warehouse para acesso sob demanda. Este é o padrão mais comum e geralmente o mais econômico.

Janela quente e arquivo frio – Os últimos 12 a 24 meses são copiados internamente para desempenho, e o histórico mais antigo permanece acessível virtualmente.

Virtual primeiro, cópia conforme necessidade – Começa-se com acesso virtual, mede-se a frequência de uso real e copia-se apenas o que se provou ser frequentemente necessário. Esta é a maneira eficiente de evitar a cópia de dados que ninguém consultará.

A relação entre esta decisão e a divisão de responsabilidades entre sistemas é detalhada em Data 360 vs. Dados de CRM e Fonte da Verdade na Organização.

Cenário: Empresa Financeira com 400 Milhões de Linhas

Uma empresa de serviços financeiros desejava segmentação de clientes baseada em histórico transacional de sete anos – aproximadamente 400 milhões de linhas em um data warehouse na nuvem. O plano original era a ingestão completa na camada de unificação.

O piloto mudou a decisão. Foi medido que as segmentações reais dependiam de apenas três cálculos – média mensal, tendência de 90 dias e classificação de atividade – e todos poderiam ser calculados no próprio data warehouse. Em vez de transferir 400 milhões de linhas, foram transferidas três colunas resumidas por cliente, atualizadas diariamente, enquanto os detalhes permaneceram virtualmente acessíveis para investigação pontual.

O que foi decidido aqui não foi "virtual vs. cópia", mas sim o nível de granularidade: a pergunta correta era qual resolução de dados era realmente necessária. Ao respondê-la, a questão da cópia se tornou insignificante.

Riscos Comuns e Ações Preventivas

RiscoComo se manifesta na práticaAção Preventiva
Custo de processamento surpreendenteConsultas amplas com alta frequênciaMedição em piloto e acordo prévio
Dependência da disponibilidade da fonteFalha no data warehouse desativa segmentaçãoFallback ou janela quente copiada
Mudanças de esquemaVisualizações quebram sem avisoAcordo de modificação e monitoramento de esquema
Permissões indefinidasExposição mais ampla do que na fonteIdentidade da consulta e política de exposição documentada
Granularidade incorretaTransferência de detalhes que ninguém usaDecidir a resolução antes do método

Como Medir o Sucesso

ÁreaO Que MedirFrequência de Verificação
DesempenhoTempo de resposta para consultas de segmentação chaveMensal
CustoCusto de processamento e tráfego por Use CaseMensal
EstabilidadeFalhas de consulta e disponibilidade da fonteSemanal
ValorSegmentações e ações geradas efetivamenteTrimestral

A escolha entre acesso virtual e ingestão é feita no âmbito dos Serviços de Integrações e Dados.

Checklist para a Decisão de Zero Copy

  • ☐ Casos de uso concretos definidos e não uma "capacidade geral"
  • ☐ Requisito de freshness estabelecido para cada Use Case
  • ☐ Resolução dos dados necessária verificada na prática
  • ☐ Frequência da consulta e volume de varredura estimados
  • ☐ Acordo de mudanças de esquema com o proprietário da fonte existente
  • ☐ Identidade da consulta e política de exposição definidas
  • ☐ Padrão híbrido considerado antes de uma decisão binária
  • ☐ Plano de fallback para falha da fonte existente
  • Piloto medido antes da expansão
  • ☐ Proprietário para monitoramento de custos e revisão periódica

Fontes Profissionais