Inteligência operacional com Splunk

A inteligência da ferramenta no monitoramento de ambiente de dados.

Machine data

Vamos começar falando de machine data, ou simplesmente dados da máquina. É algo que está em todos os lugares, fluindo constantemente dos dispositivos com os quais interagimos durante o dia.

Isso vai desde o carro que nos leva para o trabalho, os edifícios em que entramos utilizando crachás ou outras formas de acesso, os servidores aos quais nos conectamos e até mesmo o celular em nosso bolso, o que representa mais de 90% dos dados acumulados pelas organizações de hoje.

Os dados são estruturados em formatos diferentes, sendo alguns estruturados e outros não, os tornando imprevisíveis e difíceis de processar. Para facilitar o entendimento, imagine estes dados como um monstro indisciplinado falando em uma linguagem difícil de entender.

E como o Splunk vai me ajudar?

Para exemplificar melhor, digamos que temos uma rede de streaming virtual, e, essa companhia é internacional e está sendo acessada por diversas pessoas ao redor do mundo. Vamos chamá-la de minhatelinha.com.

O acesso dos usuários é feito por diversos aparelhos diferentes, em inúmeras regiões, gerando assim uma grande quantidade de dados. Este montante de dados pode se tornar o monstro de dados que comentamos acima, e vamos chamar ele de Kaiju.

O Kaiju é constituído por dados gerados a partir de servidores web da minhatelinha.com, servidores dos pontos de venda, leitores de crachás de segurança, servidores de e-mail, dispositivos de segurança e servidores de correio de voz.

Essas fontes de dados podem nos dar insights valiosos sobre o que está acontecendo na organização.

Entretanto, em seu formato atual (ou cru), pode levar horas apenas para localizar eventos únicos nestes dados. Para resolver este problema, será necessário diversas ferramentas e pessoas por horas.

Cenário:

Um cliente da minhatelinha.com ligou para o suporte para relatar que teve problema de compra em sua assinatura, informando uma falha na compra do filme “Vingadores”.

O console do time de suporte mostrou que tudo deveria estar funcionando corretamente, então a Pamela, atendente do suporte, encaminhou o problema para Marcos do suporte ao aplicativo.

Marcos verificou em todas as suas ferramentas de monitoramento e apareceu de mãos vazias, então encaminhou o problema para Jeferson, um desenvolvedor do time.

Jeferson parou seu trabalho para olhar o código e executar alguns testes. Não vendo nenhum problema, ela envolveu Marina, administradora do sistema.

Marina parou o que estava fazendo para ajudar Jeferson a vasculhar o aplicativo, o servidor web e os logs dos servidores dos pontos de venda.

Eles perceberam que não era um erro de aplicativo, então escalaram para Erika, a administradora de banco de dados do time.

Erika começou a consultar os logs de SQL e encontrou uma consulta lenta, tornando difícil para que alguns usuários concluíssem suas transações.

Até este ponto foram 9 horas gastas e, embora o problema tenha sido encontrado, ele ainda precisava ser corrigido.

E esse foi apenas um problema que surgiu naquele dia.

E é aqui que utilizamos o Splunk .

Simplificando, o Splunk pode pegar qualquer dado e adicioná-lo a um índice inteligente e pesquisável, adicionando uma estrutura a dados não estruturados e permitindo que você extraia todos os tipos de insights sobre o seu negócio.

E não apenas problemas de aplicativo, mas segurança, comportamento do usuário, monitoramento de hardware, totais de vendas, qualquer tipo de indicador, ou seja, tudo o que você puder mensurar .

É como ter um tradutor para seu monstro de dados de máquina.

O que é o Splunk?

Splunk é um conjunto de serviços que possibilita ao seu administrador agregar, analisar, transformar, visualizar, compartilhar e realizar inúmeras operações em dados de quaisquer origens.

A implantação da plataforma ocorre de três maneiras. A primeira delas, Splunk Enterprise, será vista adiante na postagem e tem seu processo de instalação feito localmente. Já a segunda forma é um serviço escalável disponibilizado na nuvem, chamado de Splunk Cloud. Por fim, recomendo a setores de menor infraestrutura o Splunk Light.

Neste artigo vamos focar mais em Splunk Enterprise.

Index data:

O coração do Splunk está no index.

O index coleta dados de praticamente qualquer fonte de dados e é muito importante no Splunk. Pense no indexador como uma fábrica e seus dados como matérias-primas.

Conforme os dados são inseridos, os inspetores começam a trabalhar. Eles examinam os dados para decidir como processá-los. Quando eles encontram uma correspondência, eles rotulam os dados com um tipo de fonte.

Os trabalhadores usam esse tipo de fonte para dividir os dados em eventos únicos. Os carimbos de hora são identificados e normalizados para um formato consistente.

Os eventos são então armazenados no index Splunk, onde podem ser pesquisados.

Search & Investigate:

Ao inserir uma consulta na barra de pesquisa do Splunk, você pode encontrar eventos que contêm valores em várias fontes de dados.

Permitindo que você analise e execute estatísticas sobre os eventos usando a linguagem de pesquisa do Splunk.

Add knowledge:

Você pode adicionar objetos de conhecimento aos seus dados. Eles permitem que você influencie como seus dados são interpretados, classifique-os, adicione enriquecimento, normalize-os e salve relatórios para uso futuro.

Monitor & alert:

O Splunk pode monitorar proativamente toda a sua infraestrutura em tempo real para identificar questões, problemas e ataques antes que afetem seus clientes e serviços.

Você pode criar alertas para monitorar condições específicas e responder automaticamente com uma variedade de ações.

Report & Analyze:

O Splunk permite que você colete relatórios e visualizações em painéis. Capacitar grupos em sua organização, fornecendo-lhes as informações de que precisam, organizadas em um único painel de vidro.

Estrutura Splunk

Splunk está estruturado em componentes. Eles interagem para que todo o processo de obtenção, armazenamento, filtro e consulta dos dados seja veloz. Confira a seguir os três elementos indispensáveis na engrenagem do software:

Indexador:

Os indexadores processam dados de máquina recebidos, armazenando os resultados em índices como eventos. Conforme o indexador indexa dados, ele cria vários arquivos organizados em conjuntos de diretórios por idade.

Esta organização é importante para pesquisa. Quando você pesquisa seus dados, o Splunk só precisa abrir os diretórios que correspondem ao período de sua pesquisa. Tornando suas pesquisas mais eficientes.

Search head:

O Search head permite que os usuários usem a linguagem de pesquisa Splunk para pesquisar os dados indexados. Search heads lidam com solicitações de pesquisa de usuários e distribuem as solicitações para os indexadores, que realizam as pesquisas nos dados.

Os Search heads então consolidam e enriquecem os resultados dos indexadores antes de retorná-los ao usuário.

O Search head também fornece aos usuários várias ferramentas, como painéis, relatórios e visualizações para auxiliar na experiência de pesquisa.

Fowarders:

Fowarders são instâncias corporativas splunk que consomem dados e os encaminham aos indexadores para processamento.

Eles exigem recursos mínimos e têm pouco impacto no desempenho, portanto, geralmente residem nas máquinas de origem dos dados.

Por exemplo, se tivéssemos um servidor da web que gostaríamos de monitorar, instalaríamos o Fowarder nesse servidor e faríamos com que ele enviasse dados ao nosso indexador.

Na maioria das implantações do Splunk, os encaminhadores funcionam como a principal forma de os dados serem fornecidos para indexação.

Conclusão

Vimos algumas características do funcionamento do Splunk, uma plataforma para análise de dados de máquina, que possibilita que a organização não só aprenda mais com os dados que já possui, como também com os dados que produz no dia a dia de suas operações.

Uma vez coletados os dados, o Splunk os armazenará em disco, em buckets, como vimos, e utilizará mecanismos de indexação destes dados para que informações sejam recuperadas com muita rapidez e facilidade.

A partir de tais dados armazenados, será possível utilizar a Search App para então consolidar relatórios e gráficos para que os membros de cada time dos vários departamentos de uma empresa possam acompanhar a operação em tempo real, o que é o mais interessante.