Introdução aos painéis personalizados no Azure Data Explorer

O Azure Data Explorer (ADX) é um serviço de análise de alto desempenho totalmente gerenciado otimizado para consultas ad hoc em grandes volumes de dados. Ele ingeri dados de uma grande variedade de fontes e fornece análises em tempo real usando o Kusto Query Language (KQL). Um dos recursos mais poderosos do ADX é a capacidade de criar painéis personalizados que dão aos stakeholders acesso imediato a métricas, tendências e anomalias chave sem precisar executar consultas ad hoc repetidamente.

Painéis personalizados construídos no ADX podem servir equipes em toda uma organização — desde monitoramento de operações até análise de inteligência e segurança de negócios. Eles permitem que os usuários surjam os pontos de dados mais relevantes, apliquem filtros dinâmicos, configurem caminhos de perfuração e compartilhem visualizações interativas com outras pessoas. Este guia expandido o guia guia guia o guia completo para criar, personalizar e proteger painéis personalizados no Azure Data Explorer, desde a preparação de dados até o design visual avançado.

Compreendendo o Azure Data Explorer e suas capacidades de painel de dados

O Azure Data Explorer é criado para lidar com dados da série temporal, logs, telemetria e quaisquer dados estruturados ou semi- estruturados que exijam uma exploração rápida. Ele pode ingerir terabytes de dados por dia e responder a consultas complexas em segundos. O recurso de painel nativo no ADX está bem integrado com o motor de consulta, o que significa que você pode construir um gráfico diretamente de uma consulta KQL e atualizá- lo conforme novos dados fluem.

Os painéis ADX são compostos por tiles – visualizações individuais, tais como gráficos de linhas, gráficos de colunas, gráficos de tortas, gráficos de dispersão, tabelas e cartões de vários valores. Cada peça é suportada por uma ou mais consultas KQL que definem a sua fonte de dados. Os painéis suportam parâmetros e filtros que se propagam através de azulejos, permitindo aos usuários cortar interativamente e dados sem modificar as consultas subjacentes. Você também pode incorporar painéis em outras aplicações ou compartilhá-los através de links seguros.

Ao contrário das ferramentas de BI de uso geral, os painéis ADX são otimizados para transmissão em velocidade e em tempo real. Eles aproveitam o mesmo mecanismo de consulta distribuído que alimenta o cluster ADX, então até mesmo as agregações complexas renderizam rapidamente. Isso os torna ideais para cenários como painéis DevOps, monitoramento de sensores IoT, caça à ameaça de cibersegurança e análise de campanhas de marketing.

Preparando seus dados para o consumo de painel de instrumentos

Ingestão de Dados e Desenho de Esquema

Antes de criar um painel, os dados devem ser ingeridos em um cluster ADX. ADX suporta vários métodos de ingestão: Hubs de eventos para transmissão de dados, Armazenamento Azure Blob para carregamento em lote, conectores Logstash e Apache Kafka e ingestão direta usando o Kusto SDK. Para painéis interativos, você geralmente quer dados que são atualizados e atualizados continuamente.

Ao desenhar o seu esquema de tabelas, considere os tipos de visualizações que pretende construir. Para gráficos de séries temporais, certifique-se de ter uma coluna de timestamp do tipo . Para desagregações categóricas, use colunas. As métricas numéricas devem estar em colunas adequadas para agregação (soma, média, contagem). ADX também suporta esquemas dinâmicos através do tipo de dados , que pode armazenar objetos JSON – tais campos são úteis para telemetria baseada em eventos onde a carga útil varia.

Após a ingestão, execute consultas exploratórias do KQL na interface ADX para validar a qualidade dos dados, verificar se são nulas e entender a distribuição dos valores. É muito mais fácil refinar o esquema precocemente do que corrigir inconsistências após a construção de um painel.

Transformações de dados para painéis

Às vezes, os dados brutos precisam ser reformados antes de serem usados em um painel. Você pode criar visualizações materializadas ou políticas de atualização[ no ADX para pré-agregar dados, reduzir a latência da consulta e simplificar consultas no painel. Por exemplo, se seus dados de vendas chegam como milhões de linhas por hora, uma visão materializada que agrega as vendas por categoria de produto a cada 5 minutos fará com que as peças do painel carreguem quase que instantaneamente.

Outra técnica é usar funções armazenadas – funções reutilizáveis do KQL que encapsulam lógica complexa. Funções armazenadas podem ser chamadas a partir de consultas de painel, mantendo as definições de azulejo limpas e mantendíveis. Eles também permitem que você faça cumprir regras de negócios consistentes em vários painéis.

Escrevendo perguntas Kusto que alimentam seu painel

Fundamentos da KQL para painéis de instrumentos

Cada peça do painel é guiada por uma ou mais consultas do KQL. A linguagem Kusto Query é uma linguagem orientada para a mesa e que suporta a filtragem, agrupamento, junção, ligação temporal e funções estatísticas. Para uma peça do painel, a consulta deverá retornar um conjunto de resultados que possa ser visualizado – tipicamente uma tabela com colunas para valores de eixos, séries e medidas.

Uma simples consulta de séries temporais pode ser assim:

StormEvents
| where StartTime between (datetime(2007-01-01) .. datetime(2007-12-31))
| summarize TotalDamage = sum(DamageProperty) by bin(StartTime, 1d)
| render timechart

O operador no final diz ao motor do painel ADX como exibir os dados. Na configuração do painel de controle, você pode escolher o tipo de visualização explicitamente, para que você possa omitir o operador e, em vez disso, definir o tipo de gráfico nas configurações do azulejo. Esta separação lhe dá mais controle sobre o estilo, como cores e etiquetas de eixo.

Otimizando consultas para desempenho do painel

A responsividade do painel depende fortemente do desempenho da consulta. Aqui estão as principais técnicas de otimização:

  • Use filtrando precocemente – push time ranges, filtros de entidade e outros predicados, tanto quanto possível, no pipeline de consulta. O motor ADX pode podar fragmentos que não contêm dados relevantes.
  • Limitar o conjunto de resultados – não devolver milhões de linhas ao painel. Use para agregar, e considere usar ou para verificação da sanidade mental.
  • Aproveite resultados cache – ADX automaticamente armazena resultados de consulta para peças do painel para uma duração configurável (padrão de 5 minutos). Se seus dados não mudarem rapidamente, aumente a vida útil do cache para reduzir a carga.
  • Utilizar vistas materializadas para agregações pré-computadas como mencionado anteriormente.
  • Evite com funções caras definidas pelo usuário – se possível, colunas derivadas pré-computadas durante a ingestão.

Testando consultas na interface de usuário da ADX antes de incorporá-las em painéis é uma boa prática. Monitore os tempos de execução da consulta e ajuste em conformidade.

Passo a passo: Construindo um painel personalizado no Azure Data Explorer

Passo 1 – Acesse a interface do painel

Navegue para o seu cluster ADX no portal Azure. Sob a seção “Dados”, selecione Dashboards. Se você não ver a opção, certifique-se de que sua versão cluster suporta painéis (todos os novos clusters fazem). Você também pode usar a interface web livre ADX (dataexplore.azure.com)[ para criar painéis sem uma assinatura Azure para pequenos conjuntos de dados.

Passo 2 – Criar um novo painel e adicionar telhas

Clique em [[FLT: 0]]+ Novo Painel [[FLT: 1]] e dê- lhe um nome significativo. Você verá uma tela em branco. Clique em [[FLT: 2]]+ Adicionar uma Peça[[FLT: 3]] para começar. No editor de peças, escreva ou cole uma pesquisa do KQL. Por exemplo, uma pesquisa que conte erros por serviço nas últimas 24 horas:

Logs
| where Timestamp > ago(24h)
| where Level == "Error"
| summarize Count = count() by ServiceName
| render columnchart

Depois de executar a consulta, a antevisão do ladrilho mostra um gráfico. Você poderá então configurar o ladrilho:

  • Title – dê um nome legível para o homem.
  • Visualização – escolha entre linha, coluna, barra, área, torta, dispersão, gráfico de tempo, tabela e visuais personalizados.
  • Alcance de tempo – defina o filtro de tempo padrão.
  • Parâmetros – você pode definir parâmetros de nível de painel (por exemplo, ambiente, região) e ligá-los a consultas de azulejos usando a sintaxe do KQL .

Adicione mais peças para outras métricas. Você pode redimensionar e reorganizar as peças arrastando- as para a tela.

Passo 3 – Adicionar Parâmetros e Filtros do Painel

Parâmetros tornam os painéis interativos. Vá para as configurações do painel (iconômetro de engrenagem) e adicione parâmetros como (descarte: Produção, Estágio, Dev) ou (relativo ou absoluto). Ligue cada parâmetro às consultas relevantes de peças por referência . Para intervalos de datas dinâmicos, use funções KQL como .

Passo 4 – Configurar perfuração-atravessar e Cross-Filtering

Os painéis ADX suportam perfurações para um painel partilhado ou para um URL externo. Por exemplo, clicar numa barra num gráfico pode navegar para um painel incidente detalhado filtrado por esse serviço. O filtro cruzado também é possível: a selecção de um valor numa peça pode filtrar automaticamente outras peças no mesmo painel. Para activar o filtro cruzado, assegure que as consultas de peças usam os mesmos nomes de parâmetros ou confiem nas propriedades partilhadas [[FLT: 0]]] do filtro cruzado[[[FLT: 1]]].

Passo 5 – Salvar, Publicar e Compartilhar

Uma vez que o painel estiver concluído, salve-o. Você pode ]publicar o painel para torná-lo acessível a outros usuários da sua organização. Sob o menu Compartilhar, gerar uma URL somente de leitura que pode ser incorporada em um portal ou enviada por e-mail. Você também pode baixar o modelo do painel (JSON) para controle de versão ou para uso em outro cluster.

Melhorando os painéis com recursos avançados

Actualizar os Dados em Tempo Real

Para os painéis operacionais, as atualizações em tempo real são críticas. Os painéis ADX atualizam automaticamente os dados com base no intervalo de tempo e nas configurações de cache de consultas do azulejo. Você pode configurar um intervalo de atualização automático (por exemplo, a cada 1 minuto) nas configurações do painel. Combinado com a ingestão de streaming dos Hubs de eventos, isso cria uma experiência de monitoramento em tempo quase real.

Visualização e Temas Personalizados

Além dos tipos de gráficos incorporados, o ADX suporta visuais personalizados alimentados pela linguagem Charticulator (dentro do editor de painéis ADX). Você pode criar visualizações complexas como heatmaps, gráficos sunburst e gráficos de rede. Além disso, você pode substituir cores, fontes e layout para combinar com a marca corporativa. Temas podem ser aplicados a um painel através de estilo baseado em JSON.

Alertar a Integração

Embora os painéis sejam ótimos para monitoramento visual, você pode precisar de alertas para limiares críticos. A ligação ADX aos alertas do Monitor Azure: você pode criar uma regra de alerta baseada em uma consulta do KQL que é executada periodicamente. Quando uma anomalia é detectada, o alerta pode ativar um e- mail, um webhook ou uma função Azure. Você pode então ligar o alerta a um painel de painel para que os operadores possam clicar no alerta e ser levados diretamente para a visualização do painel relevante.

Painel de Embutimento em Aplicações Personalizadas

Você pode incorporar painéis ADX em seus próprios aplicativos web usando um iframe ou o ADX SDK. O URL de incorporação suporta parâmetros de consulta para autenticação e filtragem. Isso permite que as equipes de produtos exponham análises ao vivo a clientes externos ou portais internos sem criar uma camada de visualização separada. Para mais detalhes, consulte a documentação Azure Data Explorer incorporou painéis .

Controle de Segurança e Acesso para Painéis

A segurança de dados deve ser uma prioridade ao compartilhar painéis entre equipes ou externamente. ADX fornece controle de acesso de grãos finos no cluster, banco de dados e nível de tabela usando Controle de Acesso Baseado em Role (RBAC). Para painéis, os papéis principais são:

  • Dashboard Admin – pode criar, editar, excluir e publicar painéis.
  • Dashboard Viewer – só pode ver painéis publicados.

Quando você compartilha um painel via URL, esse URL é protegido pela autenticação do Azure AD. Os usuários devem estar conectados com uma identidade da Microsoft (conta de trabalho ou escola) e ter acesso ao visualizador. Você também pode restringir a visibilidade dos dados usando ]Row-Level Security (RLS) dentro das funções do KQL, garantindo que os usuários diferentes vejam apenas as linhas que eles estão autorizados a ver. Por exemplo, um painel de vendas pode filtrar por região com base no domínio de e- mail do visualizador.

Para ambientes sensíveis, você pode limitar as capacidades de exportação (por exemplo, desativar o download de CSV de peças) através de configurações de política. Registros de auditoria rastrear quem acessou que painel e quando. Recomenda-se rever regularmente o acesso e revogar permissões para usuários que não mais precisam deles.

Melhores práticas para painéis de produção

Otimização de desempenho

  • Usar tabelas pré-agregadas (visualizações materializadas) para métricas de alta cardioriedade.
  • Definir o intervalo de tempo apropriado – comece com os últimos 7 dias em vez de todos os dados.
  • Limitar o número de peças em um painel a 20–30 para evitar problemas de concorrência de consultas.
  • Use painéis sharded – divida métricas em múltiplos painéis por domínio de negócios (operações, finanças, segurança) em vez de um painel gigante.

Disposição Lógica e Leitura

  • Grupo de peças relacionadas juntos: colocar resumos no topo, desagregações detalhadas abaixo.
  • Use codificação de cores consistente – por exemplo, verde para métricas saudáveis, vermelho para problemas críticos.
  • Incluir um título e descrição[] para cada telha para que os espectadores entendam o que estão olhando.
  • Vantagem cartões multivalores] para indicadores de desempenho chave (KPIs) – valor atual, mudança ao longo do tempo e linha de ignição.

Manutenção e ciclo de vida

  • Mantenha consultas no controle de versão (funções armazenadas ou arquivos externos de consulta).
  • Documente quais fontes de dados alimentam cada painel e quais transformações são aplicadas.
  • Agende avaliações regulares com os stakeholders para remover peças não utilizadas e adicionar novas.
  • Monitore o uso e o custo da consulta ADX; painéis raramente vistos podem estar consumindo recursos desnecessariamente.

Integrando os painéis Azure Data Explorer com outros serviços Azure

Os painéis ADX funcionam bem em um ecossistema de análise Azure maior. Aqui estão padrões de integração comuns:

  • Azure Monitor Workbooks – Você pode incorporar peças de painel ADX dentro de pastas de trabalho Azure Monitor para uma experiência unificada de monitoramento de TI.
  • Power BI – Para recursos avançados de BI, você pode usar o conector ADX no Power BI para importar resultados de consulta e construir relatórios interativos. No entanto, painéis ADX nativos são mais rápidos para visualizações em tempo real.
  • Azure DevOps – Use painéis para monitorar as taxas de falha de construção, frequência de implantação ou resultados de teste de desempenho, consultando dados de Insights de Aplicação armazenados em ADX.
  • Azure Logic Apps and Functions – Automatize os gatilhos de atualização do painel ou gere resumos via e-mail usando fluxos de trabalho sem servidor que consultam ADX e enviam o resultado.

Para um mergulho mais profundo em padrões de integração, consulte o guia oficial Azure Data Explorer e Power BI integração.

Conclusão

Painéis personalizados no Azure Data Explorer permitem que as organizações transformem a telemetria em insights acionáveis com latência mínima. Ao seguir o processo estruturado descrito acima – desde a preparação de dados e a escrita de consultas KQL eficientes até a concepção de peças interativas e a segurança do acesso – você pode construir painéis que capacitam as equipes a tomar decisões mais rápidas e orientadas por dados.

A flexibilidade dos painéis ADX, combinada com a escalabilidade do mecanismo de análise subjacente, torna-os uma excelente escolha para monitoramento em tempo real, análise exploratória e relatórios operacionais. À medida que seus dados crescem e seus requisitos de negócios evoluem, o mesmo framework de painel pode ser estendido com novos parâmetros, visuais avançados e integração com o ecossistema Azure mais amplo. Comece com um projeto piloto em um domínio específico, com seus stakeholders e gradativamente expanda seu portfólio de painéis para cobrir as métricas mais críticas em toda sua organização.

Para mais referências, consulte a visão geral dos painéis do Azure Data Explorer e a Kusto Query Language reference rápida.