O Azure Data Share é um serviço totalmente gerenciado da Microsoft que permite às organizações compartilhar dados com parceiros externos, fornecedores, departamentos internos ou colaboradores de pesquisa de forma segura e eficiente. Ao contrário dos métodos tradicionais de compartilhamento de dados, como anexos de e-mail, FTP ou unidades físicas, o Azure Data Share fornece uma abordagem governada, auditável e automatizada para mover dados entre inquilinos, mantendo o controle do proprietário de dados. Neste artigo, exploramos a arquitetura, os principais recursos, o modelo de segurança, os casos de uso comuns e as melhores práticas para alavancar o Azure Data Share em ambientes de produção.

Compreendendo a partilha de dados Azure: Além da transferência simples de arquivos

No seu núcleo, o Azure Data Share permite que as organizações compartilhem conjuntos de dados armazenados na Azure Data Lake Store, no Azure Blob Storage, no Azure SQL Database, no Azure Synapse Analytics e em outras lojas de dados suportadas. O serviço suporta tanto baseado em snapshot[ e no local[. O compartilhamento baseado em imagens copia os dados do armazenamento do proprietário dos dados para o armazenamento do destinatário em intervalos regulares, enquanto o compartilhamento in-place fornece uma conexão direta somente de leitura sem copiar os dados subjacentes. O último é particularmente útil quando compartilhamos conjuntos de dados grandes e frequentemente atualizados onde a duplicação seria ineficiente ou indesejável.

Como a partilha de dados Azure difere da partilha de ficheiros simples

Métodos tradicionais de compartilhamento de arquivos expõem os dados a riscos de segurança, carecem de versionamento e exigem esforço manual para manter os destinatários atualizados. Azure Data Share aborda estes problemas por:

  • Sincronização automatizada: Os instantâneos podem ser agendados (por exemplo, hora, dia e dia) para que os destinatários tenham sempre os dados mais recentes sem intervenção manual.
  • Controlo de acesso granular: Os proprietários de dados definem exatamente quais conjuntos de dados são compartilhados e com quem, usando as identidades do Azure Active Directory e o controle de acesso baseado em funções (RBAC).
  • Auditoria completa: Cada convite, aceitação, instantâneo e revogação de ações de compartilhamento está logado no Azure Monitor, permitindo investigações de conformidade e segurança.
  • Não é necessário uma pesquisa VPN ou de rede: A partilha acontece através da rede de coluna vertebral Azure ou da Internet pública com criptografia em trânsito e em repouso.

Arquitetura e componentes-chave

O Azure Data Share gira em torno de duas entidades primárias: ] fornecedores de dados (os proprietários dos dados) e consumidores de dados[ (os destinatários). O serviço usa o Azure Resource Manager (ARM) para gerenciar definições de compartilhamento, convites e gatilhos de instantâneo. A arquitetura inclui os seguintes componentes:

Lado do Fornecedor de Dados

  • Compartilhar recurso: Um recurso Azure de nível superior que agrupa conjuntos de dados compartilhados, convites e agendas de instantâneo.
  • Definições de conjuntos de dados: Referências aos dados de origem, como um recipiente Blob, uma pasta dentro do ADLS Gen2, ou uma tabela SQL. O provedor escolhe se deve compartilhar o recipiente inteiro ou um subconjunto.
  • Convites: Enviados por e-mail ou diretamente para o inquilino Azure de um consumidor. O convite inclui um link para aceitar a ação.
  • Snapshot schores: Configurou-se usando um intervalo de recorrência (diário, semanal, etc.) e uma hora de início. Para o compartilhamento in-place, nenhum cronograma é necessário porque o proprietário de dados controla o acesso diretamente.

Lado do Consumidor de Dados

  • Assinatura de partilha: Criado quando o consumidor aceita um convite. Os links de subscrição para a parte do fornecedor e define onde os dados serão depositados (ou como o conjunto de dados no local será acessado).
  • Ativador de snapshot: Quando o provedor configura um cronograma, a assinatura do consumidor inicia automaticamente instantâneos. Para a primeira aceitação, um instantâneo imediato pode ser acionado.
  • Termination: O provedor de dados pode revogar o acesso a qualquer momento, o que impede todos os instantâneos futuros e, para ações no local, corta imediatamente o acesso.

Lojas de dados e modos de acesso suportados

O Azure Data Share suporta uma lista crescente de serviços de dados Azure. Para cada um deles, oferece o compartilhamento de instantâneos (dados de cópia) ou o compartilhamento in-place (acesso somente para leitura sem cópia). A tabela a seguir resume as lojas e modos suportados:

  • Azure Blob Storage (snapshot e in-place): Compartilhe recipientes de bolhas ou pastas.
  • Azure Data Lake Storage Gen2 (snapshot e in-place): Share file systems or directory.
  • Azure SQL Database e Azure Synapse Analytics (dedicated SQL pool) (snapshot only): Share tables or views.
  • Azure Data Explorer (in-place): Share Kusto bases de dados para consultas em tempo real.
  • Azure Data Share também suporta compartilhamento de contas de armazenamento em diferentes regiões do Azure e até mesmo através de nuvens através de terminais privados.

Detalhes de Compartilhamento com Base em Instantâneos

O compartilhamento baseado em instantâneo é ideal quando o consumidor precisa de uma cópia dos dados para o seu próprio processamento, transformação ou backup. O provedor configura um cronograma de instantâneo e o Azure Data Share usa uma identidade gerenciada para autenticar o armazenamento de origem. Para fontes baseadas em SQL, o serviço usa tabelas externas ou mecanismos de servidor vinculados para exportar dados. O armazenamento de destino do consumidor deve ser preparado com permissões apropriadas (por exemplo, um recipiente Blob com acesso de gravação para o principal serviço Data Share).

Os instantâneos são incrementais por padrão para fontes Blob e ADLS Gen2 – apenas alterações desde que o último instantâneo é transferido, reduzindo os custos de transferência de dados e o tempo. Para fontes SQL, instantâneos de tabelas completas são tomados a menos que a tabela seja particionada por uma coluna de data-hora, nesse caso instantâneos incrementais são suportados através de uma pasta ]snapshot padrão.

Detalhes de Compartilhamento de Locais

O compartilhamento in-place (também chamado de "Azure Data Share in-place snapshots") permite ao consumidor consultar os dados diretamente no armazenamento do provedor usando o acesso somente leitura. O consumidor não recebe uma cópia; em vez disso, ele usa um serviço Azure Data Share-linked para acessar os dados como se fosse local. Isto é particularmente útil para cenários de análise onde a frescura dos dados é crítica e a duplicação é proibitiva. O provedor mantém o controle total – revogando o compartilhamento remove instantaneamente o acesso do consumidor.

Considerações sobre segurança e conformidade

Segurança de dados é uma preocupação primária ao compartilhar informações confidenciais com partes externas. Azure Data Share incorpora várias camadas de segurança:

Autenticação e Autorização

  • Azure Active Directory (AD) Integração: Tanto fornecedores como consumidores autenticam via Azure AD. Os convites são enviados para usuários ou grupos específicos do Azure AD, não apenas endereços de e-mail. O consumidor deve ser logado no mesmo ou em um inquilino diferente do Azure AD para aceitar.
  • Controlo de Acesso com Base em Role (RBAC): O provedor usa o RBAC para conceder o acesso principal do serviço Data Share aos dados de origem. O consumidor deve ter permissões apropriadas em seu próprio armazenamento de destino para escrever instantâneos.
  • Identidades gerenciadas: O recurso Azure Data Share usa uma identidade gerenciada atribuída ao sistema para acessar as lojas de fontes e alvos. Isso elimina a necessidade de credenciais de longa duração.

Criptografia de Dados

  • Todos os dados são criptografados em trânsito usando TLS 1.2+.
  • Os dados em repouso são criptografados usando a criptografia do serviço de armazenamento Azure ou a criptografia de dados transparente SQL (TDE). Ao compartilhar através de instantâneo, os dados permanecem criptografados no armazenamento do consumidor de acordo com suas próprias políticas de criptografia.

Isolamento da rede

Para organizações que exigem dados que nunca atravesse a internet pública, o Azure Data Share suporta Azure Private Endpoints. Os fornecedores e consumidores podem configurar endpoints privados para suas contas de armazenamento e servidores SQL, e o serviço Data Share direcionará o tráfego através da rede de backbone da Microsoft através de IPs privados. Isso é crucial para o cumprimento de regulamentos como o GDPR, HIPAA ou padrões de serviços financeiros.

Auditoria e acompanhamento

  • Azure Monitor captura logs para criação de compartilhamento, status de convite, sucessos/falhas de instantâneo e alterações de permissão.
  • Azure Activity Log rastreia operações administrativas como criar ou excluir uma ação.
  • Data Share diagnostic settings pode enviar logs para Log Analytics para consulta avançada e alerta.

Fluxo de trabalho passo a passo: Da provisão ao consumo

Para demonstrar o uso prático do Azure Data Share, considere um cenário em que uma empresa de análise precisa compartilhar dados diários de vendas com um parceiro de varejo. As seguintes etapas delineiam o processo:

  1. Provisionar o recurso de partilha: O fornecedor de dados cria um recurso de partilha de dados Azure na sua subscrição, seleciona uma região e configura a identidade gerida.
  2. Adicionar conjuntos de dados: No compartilhamento, o provedor adiciona a fonte – digamos, um recipiente de armazenamento Azure Blob contendo arquivos CSV. O provedor concede ao compartilhamento de dados gerenciado identidade ]Revisor de dados de armazenamento Blob papel nesse container.
  3. Set Snapshot Schedule: O provedor escolhe um snapshot diário às 10 PM UTC, selecionando cópia incremental para minimizar os dados transferidos.
  4. Enviar Convite: O provedor entra no e-mail do usuário Azure AD do destinatário ou envia o convite para o inquilino Azure AD do consumidor. O convite é ligado ao tempo (padrão 30 dias).
  5. Consumidor Aceita: O consumidor faz login no portal Azure, navega até o serviço de Compartilhamento de Dados e aceita o convite. Eles especificam uma conta de armazenamento de destino (por exemplo, um recipiente Blob em sua própria assinatura) e concedem a identidade gerenciada do Compartilhamento de Dados Contributor de Dados de Bloco de Armazenamento no alvo.
  6. Primeiro Snapshot: O provedor pode desencadear um snapshot completo imediato, ou o primeiro snapshot agendado é executado no momento especificado. Os dados vão da fonte ao alvo através da espinha dorsal do Azure.
  7. Gerenciamento em andamento: O provedor monitora a saúde de instantâneo através do painel de compartilhamento. Se o relacionamento terminar, eles revogam a ação, que exclui a assinatura do consumidor e impede instantâneos futuros. As ações no local seriam cortadas imediatamente.

Características avançadas e melhores práticas

Além do básico, o Azure Data Share oferece recursos que o tornam adequado para cenários empresariais complexos.

Compartilhamento de dados incrementais com partições de pastas

Para as fontes Blob e ADLS Gen2, os instantâneos incrementais funcionam melhor quando os dados de origem seguem um padrão de partição de pastas (por exemplo, [[FLT: 0]]). O serviço detecta arquivos novos ou modificados e copia apenas aqueles. Os provedores devem organizar seus dados de uma forma que evite renomear ou sobrescrever arquivos, uma vez que a detecção incremental depende de datas e caminhos de arquivos.

Partilhar com cenários de risco cruzado

O Azure Data Share é construído para compartilhamento de ativos cruzados – funciona em diferentes locatários do Azure AD, o que é típico quando colabora com organizações externas. O consumidor não precisa estar no mesmo locatário que o provedor. No entanto, ambas as partes devem ter assinaturas e permissões apropriadas do Azure. Para compartilhamento de ativos cruzados, o consumidor usa um serviço especial ligado que autentica através do Azure AD do provedor.

Partilha de dados com Azure Synapse e Power BI

Os dados compartilhados podem ser facilmente consumidos em fluxos de trabalho de análise e relatórios. Um consumidor que recebe instantâneos no Blob Storage pode conectar esse armazenamento a Azure Synapse Analytics para consultas SQL sem servidor, ou a Power BI usando o conector "Azure Blob Storage". Para compartilhamentos in-place de bases de dados Azure Data Explorer, o consumidor pode consultar os dados diretamente do seu próprio cluster Azure Data Explorer usando a função Data Share[.

Otimização de custos

  • Minimizar a frequência de instantâneo: Escolha o intervalo mais longo aceitável para reduzir os custos de transferência de dados.
  • Use instantâneos incrementais quando possível; eles apenas transferem alterações.
  • Aproveite o compartilhamento no local para conjuntos de dados estáticos grandes para evitar custos de duplicação de armazenamento.
  • Set up alertas sobre falhas de instantâneo para evitar dados obsoletos.

Cumprimento e retenção

Organizações com políticas rigorosas de retenção de dados podem usar o Azure Data Share em conjunto com a Azure Policy para impor restrições de marcação, criptografia e localização. Por exemplo, uma política pode exigir que todos os dados compartilhados residam em uma região específica para cumprir as leis de soberania de dados. Além disso, os proprietários de dados devem rever periodicamente compartilhamentos ativos e remover órfãos quando as colaborações terminarem.

Casos de Uso Comum

1. Troca de dados de parceiro para otimização da cadeia de suprimentos

Um varejista compartilha os níveis diários de estoque e previsões de vendas com os fornecedores. Usando o Azure Data Share, o fornecedor recebe um instantâneo em seu próprio armazenamento Azure, integra-o em seu sistema de planejamento de demanda e ajusta automaticamente os horários de produção. O varejista pode revogar o acesso se a parceria terminar.

2. Colaboração em Pesquisa em Instituições

Universidades e laboratórios de pesquisa compartilham grandes conjuntos de dados genômicos ou climáticos. Com o compartilhamento in-place, várias instituições podem executar consultas contra um repositório central sem duplicar terabytes de dados. O acesso de cada pesquisador é controlado via Azure AD e pode ser limitado ao tempo de duração do projeto.

3. Relatórios Financeiros aos Auditores Externos

Uma empresa de serviços financeiros compartilha com auditores os registros de transações e balanços trimestrais com segurança. O cronograma instantâneo garante que os auditores sempre tenham os dados mais recentes, e a trilha de auditoria fornece provas de quem acessou o que e quando – crítico para o cumprimento da regulamentação.

4. Plataformas SaaS multi-tenant

Um provedor SaaS usa o Azure Data Share para fornecer conjuntos de dados curados para cada cliente. Cada cliente recebe seu próprio instantâneo em um recipiente de armazenamento dedicado, e o provedor pode gerenciar centralmente todos os compartilhamentos com integração automática de faturamento através de registros de uso Azure.

Limitações e Considerações

Embora o Azure Data Share seja poderoso, ele tem limitações:

  • Capas de tamanho de dados: Os tamanhos de instantâneo são limitados pela produtividade do armazenamento de origem e alvo.Para conjuntos de dados muito grandes (tb múltipla), são recomendados instantâneos incrementais.A Microsoft recomenda o uso do ADLS Gen2 para um desempenho ótimo.
  • Limitações de fonte do SQL: Para o banco de dados SQL Azure e o Synapse, o compartilhamento baseado em instantâneo não suporta tabelas sem chave primária ou com tipos de dados complexos como XML. Além disso, grandes transações podem causar tempo limite.
  • A disponibilidade da região: Nem todas as regiões Azure suportam a partilha de dados Azure. Verifique a página Azure Products by Region] para a disponibilidade atual.
  • Sem streaming em tempo real: O Azure Data Share é orientado para o lote. Para compartilhamento de dados em tempo real, considere Hubs de eventos azuis com um padrão de compartilhamento de dados ou Fábrica de dados azuis[] replicação contínua.

Modelo de preços

O preço da Azure Data Share é baseado na transferência de dados da fonte do provedor para o serviço Data Share, além de cobranças mensais para ações baseadas em instantâneos. As ações no local são cobradas apenas para os dados processados (queries). Especificamente:

  • Partilha baseada em snapshot: $0,25 por data-set por mês (para o primeiro conjunto de dados) mais custos de transferência de dados (taxas de saída padrão Azure para transferências de regiões cruzadas).
  • Compartilhamento no local: $0,25 por data-set por mês mais $0,005 por GB de dados digitalizados pelo consumidor.

A transferência de dados entre os serviços Azure na mesma região é gratuita, tornando a partilha interna rentável. Para uma desagregação detalhada, consulte a página de preços Azure Data Share .

Comparação com Alternativas

Para leitores que avaliam opções de compartilhamento de dados, aqui está uma breve comparação com outros serviços da Microsoft:

  • Fábrica de dados azul: Primeiramente uma ferramenta de orquestração e transformação; pode ser usada para compartilhamento de dados, mas não tem a governança, convites e auditoria de compartilhamento de dados. Fábrica de dados é melhor para trabalhos complexos de ETL.
  • Azure Event Hubs / Service Bus: Ideal para transmissão de eventos em tempo real, não para compartilhamento de dados em lote.
  • Azure Storage Shared Access Signatures (SAS): Uma forma mais simples de conceder acesso temporário a recipientes de armazenamento, mas sem automação incorporada, atualizações incrementais ou integração com o consentimento do Azure AD. Os tokens do SAS podem ser compartilhados por e-mail, propensas a riscos de segurança e sem responsabilidade.

Conclusão

O Azure Data Share preenche uma lacuna crítica no ecossistema de dados moderno: um método de compartilhamento de dados de primeira parte, seguro e automatizado entre fronteiras organizacionais. Seu suporte tanto para modos instantâneos quanto para modos internos, integração profunda com serviços de segurança e conformidade Azure e fluxo de trabalho direto tornam uma escolha atraente para empresas que exigem colaboração de dados governada. Ao seguir as melhores práticas aqui descritas, especialmente no que diz respeito a instantâneos incrementais, endpoints privados e organização cuidadosa de dados de fonte, as organizações podem maximizar o valor de suas iniciativas de compartilhamento de dados, mantendo o controle total sobre informações sensíveis.