pj

Guia CLF Análise

Índice

Os serviços de análise da AWS ajudam a coletar, preparar, processar, consultar e visualizar dados. Cada serviço atende a uma necessidade, como analisar arquivos no Amazon S3 ou acompanhar informações que chegam em tempo real.

Amazon EMR

O Amazon EMR facilita o processamento de grandes volumes de dados, também chamado de big data.

Ele permite executar ferramentas como Apache Hadoop e Apache Spark, que dividem o processamento dos dados entre vários recursos de computação.

Por exemplo, uma empresa pode usar o EMR para processar uma grande quantidade de logs e identificar padrões de utilização de uma aplicação.

O EMR também pode transformar dados e trabalhar com informações armazenadas em serviços como o Amazon S3.

Amazon Athena

O Amazon Athena permite consultar dados diretamente no Amazon S3 usando SQL, uma linguagem utilizada para fazer consultas.

Ele é serverless: você não precisa provisionar ou gerenciar servidores para executar as consultas.

Por exemplo, você pode consultar arquivos de logs no S3 para descobrir quantos acessos ocorreram em determinado dia.

O Athena pode utilizar o AWS Glue Data Catalog para encontrar informações sobre as tabelas e a estrutura dos dados.

Lembre-se: Athena é uma opção para consultar dados no S3 sem carregar esses dados em um banco de dados antes da consulta.

AWS Glue

O AWS Glue é um serviço serverless de integração de dados. Ele ajuda a descobrir, preparar, transformar e mover dados de diferentes fontes.

Uma de suas principais utilizações é o ETL, que significa Extrair, Transformar e Carregar:

  1. Extrair: obter os dados da origem.
  2. Transformar: ajustar os dados, como padronizar formatos.
  3. Carregar: enviar os dados preparados para o destino.

Por exemplo, o Glue pode preparar arquivos de vendas para que sejam analisados em outro serviço.

AWS Glue Data Catalog e crawlers

O Data Catalog guarda metadados, ou seja, informações sobre os dados, como a localização dos arquivos, os nomes das colunas e seus tipos.

Os crawlers examinam fontes de dados, identificam sua estrutura e criam ou atualizam essas informações no catálogo.

O catálogo descreve os dados. Os trabalhos de ETL realizam as transformações.

Amazon Redshift

O Amazon Redshift é um serviço gerenciado de data warehouse, um ambiente voltado à análise de grandes volumes de dados.

Ele permite usar SQL para produzir relatórios e apoiar análises de negócio. Por exemplo, uma empresa pode analisar seu histórico de vendas para comparar resultados ao longo dos anos.

Também existe o Redshift Serverless, que permite executar análises sem administrar um cluster provisionado.

Amazon Quick Sight

O Amazon Quick Sight, anteriormente chamado de Amazon QuickSight, é o recurso de visualização de dados e inteligência de negócios do Amazon Quick.

Ele permite criar gráficos, relatórios e painéis para facilitar a interpretação dos dados.

Por exemplo, um painel pode mostrar as vendas por mês e por região.

Quando usar cada serviço de análise

ServiçoPrincipal utilizaçãoExemplo
Amazon EMRProcessar big data com ferramentas como Hadoop e Spark.Processar um grande volume de logs.
Amazon AthenaConsultar dados no S3 com SQL.Pesquisar registros em arquivos de logs.
AWS GluePreparar e integrar dados.Padronizar arquivos antes da análise.
Amazon RedshiftExecutar análises em um data warehouse.Analisar o histórico de vendas.
Amazon Quick SightVisualizar dados em gráficos e painéis.Apresentar os resultados de vendas.

Análise de dados em streaming

Streaming é o envio contínuo de dados conforme eles são gerados. Alguns exemplos são cliques em um site, registros de aplicações e informações de sensores.

Os serviços a seguir ajudam a coletar, entregar ou processar esses fluxos de dados.

Amazon Kinesis Data Streams

O Amazon Kinesis Data Streams coleta dados em tempo real e permite que aplicações leiam e processem esses dados continuamente.

  • Produtores: enviam os dados para o fluxo.
  • Consumidores: leem os dados e executam o processamento.

Várias aplicações podem ler o mesmo fluxo de forma independente. Os registros ficam disponíveis durante o período de retenção, permitindo sua leitura novamente nesse período.

Por exemplo, uma aplicação pode analisar os cliques de um site enquanto outra guarda esses registros para análises posteriores.

Amazon Data Firehose

O Amazon Data Firehose, anteriormente chamado de Amazon Kinesis Data Firehose, é um serviço gerenciado para entregar dados em streaming a destinos como Amazon S3, Amazon Redshift e Amazon OpenSearch Service.

Você configura a origem e o destino, e o Firehose gerencia a entrega. Ele também pode transformar os dados antes de enviá-los.

O serviço pode agrupar registros antes da entrega. Por isso, é adequado para muitos cenários de envio de dados quase em tempo real.

Por exemplo, você pode enviar logs continuamente para um bucket do S3. O Kinesis Data Streams também pode ser uma origem para o Firehose.

Amazon Managed Service for Apache Flink

O Amazon Managed Service for Apache Flink permite executar aplicações que processam e analisam dados em streaming usando o Apache Flink.

A AWS gerencia a infraestrutura necessária, enquanto você define o processamento realizado pela aplicação.

Por exemplo, uma aplicação pode calcular continuamente a quantidade de eventos recebidos e enviar os resultados para um painel.

Amazon Kinesis Video Streams

O Amazon Kinesis Video Streams permite enviar vídeos de dispositivos, como câmeras, para a AWS.

Ele pode armazenar os vídeos conforme a retenção configurada e disponibilizá-los para aplicações de reprodução, processamento e análise.

Por exemplo, uma empresa pode receber vídeos de câmeras e utilizar uma aplicação para analisar essas imagens.

Diferenças entre os serviços de streaming

ServiçoPrincipal função
Kinesis Data StreamsColetar dados em tempo real para processamento por aplicações consumidoras.
Data FirehoseEntregar dados em streaming aos destinos configurados.
Managed Service for Apache FlinkExecutar o processamento e a análise contínua dos dados.
Kinesis Video StreamsReceber e disponibilizar fluxos de vídeo.

Lembre-se: Data Streams coleta o fluxo, Firehose entrega os dados e Managed Service for Apache Flink executa a análise contínua. Esses serviços podem trabalhar juntos.

Referências oficiais