Diário de Bordo – AWS re:Invent 2022

O maior evento de cloud do mundo está acontecendo nesta semana em Las Vegas e, como sempre, #teamGFT está presente! Descubra os melhores insights do re:Invent 2022.

Dia 1

O dia iniciou com mais de 50 mil pessoas se dividindo entre os sites do evento para consumir as sessões de aprendizado, sejam teóricas, práticas ou rodas acaloradas de discussão sobre os mais diversos temas.

Das sessões que o time GFT participou,  alguns pontos altos foram levantados, de maneira reduzida e condensada. Veja também as novidades do keynote de Peter de Santis falando de infraestrutura e os lançamentos do dia de hoje.

STG333: Migrate your on-premises Hadoop data lake to Amazon S3 using AWS DataSync

Fernando Rocha e José Vicente, arquitetos de soluções cloud, acompanharam a sessão sobre Hadoop. Na oportunidade, eles puderam conhecer mais sobre a ferramenta AWS DataSync e como ela pode, de forma eficiente e segura, realizar a migração do seu cluster para a nuvem AWS.

Além disso, eles tiveram a chance de aprofundar seus conhecimentos nas funcionalidades da ferramenta e no compartilhamento de informações com os demais participantes. Os arquitetos apostam no AWS DataSync como o mecanismo certo para sua jornada de transferência de dados em HDFS.

Veja alguma das facilidades descritas abaixo:

  • migração de dados de on-premises, outros provedores de cloud, edges e AWS Storage Services
  • totalmente gerenciado
  • múltiplos agentes para melhor eficiência
  • dados criptografado na transferência e armazenamento
  • métricas de transferências
  • cópia de arquivos e diretórios entre clusters Hadoop e serviços de armazenamento
  • agente do AWS DataSync é executado ao lado do cluster Hadoop
  • realiza a transferência dos dados pela internet, AWS DirectConnect e VPN
  • executa a validação da transferência de fim a fim
  • realiza transferência incrimental, possibilitando filtros de arquivos e agendamento
  • suporte para autenticação kerberos
  • suporte para criptografia inflight hadoop
  • suporte para criptografia pata dados em repouso Hadoop TDE quando utilizado autenticação simples

HCL 301- architecting for patient consent healthcare

Pensando na indústria de healthcare, nossa arquiteta e Ambassador AWS, Leticia Massae, acompanhou os desafios do consentimento dos dados de pacientes. Os aprendizados sobre o que significa consentimento na área da saúde envolvem principalmente a preocupação do paciente com a privacidade de seus registros médicos, entre outros. Acompanhe os aprendizados:

O que é consentimento na área da saúde:

  • O paciente está preocupado com a privacidade de seus registros médicos
  • O desperdício de gastos com testes e procedimentos educacionais ainda é um problema
  • O tempo para o cuidado apropriado requer informações compartilhadas
  • Regulamentações como GDPR, HIPAA, FERPA e CJIS são exigidas em muitas situações
  • Necessidade contínua de dados clínicos para conduzir pesquisas
  • Necessidade de colaboração entre organizações para pacientes/clientes complexos

Gestão de consentimento: Pode variar de acordo com o contexto, uso legal, possibilidade de o paciente ou cliente poder atualizar ou alterar suas escolhas quando quiser, precisa ser acessível, aplicado aos dados e controle das organizações.

Qual é o desafio?

Como agências, assistentes sociais e médicos podem trabalhar juntos para melhorar o bem-estar e a experiência de pacientes/clientes compartilhados?

  • Centro de tratamento
  • Saúde pública
  • Cuidados primários
  • Organizações de cuidados gerenciados
  • Justiça Juvenil
  • Médico
  • Serviços infantis
  • Escola
  • Serviços Habitacionais (CBO)

Compartilhar dados de um mesmo paciente entre diferentes centros de saúde envolvem vários tipos de implicações para a confiança nos sistemas de saúde como falta de informações cadastrais, mudança de nome(casamento, divórcio e etc) nos registros, remover compartilhamento após atualização do paciente.
Um dos maiores problemas atuais é como identificar dados de saúde consentidos.

Qual é a solução?

Rede de consentimento:

  

Data Mesh:

Data Mesh é uma nova abordagem baseada em uma arquitetura moderna e distribuída para gerenciamento de dados analíticos, fazendo com usuários finais podem acessar e consultar facilmente os dados onde estiverem, sem ter que transportá-los para um Data Lake ou Data Warehouse.

A estratégia descentralizada do Data Mesh distribui a propriedade dos dados para equipes específicas de domínio que gerenciam e fornecem os dados como um produto.

Neste caso, o data mesh é utilizado para a análise de dados médicos dos paciente entre diferentes serviços (centros de saúde que necessitam dessas informações).

Busca por consentimento:

Entrando mais a fundo sobre a solução, nós temos 3 exemplos de serviços compartilhando dados de diferentes pacientes entre si.
Para que esse compartilhamento seja efetuado é necessário o consentimento do paciente permisinto que seus dados médicos sejam compartilhados para um serviço específico para x finalidade

Depois que a estrutura de dados estiver em vigor, a granulação de dados pode ser definida.

Governança de dados em AWS

Os dados e o processo de governança via AD estão no meio da arquitetura
Os dados são recebidos e começam a ser processados com Kinesis e AWS Glue, dependendo do caso de uso do serviço os dados podem ser catalogados, descobertos pelo AWS Glue e unificando o acesso os dados com o AWS DataLake para então passar pelo AWS sagemaker para entender os dados, Athena para querys desses dados e AWS Redshift para análise de dados estruturados e semi-estruturados entre datawarehouses.

O que mais nós precisamos?

O consentimento não é autônomo – a operacionalização requer recursos adicionais para complementar e habilitar um utilitário de consentimento

PEX202 – TCO (Total Cost of Ownership) analysis with AWS services and Migration Portfolio Assessment

Guilherme Marson e Alexandre Gusson procuraram sessões aderentes aos desafios diários e por grata surpresa, os amigos Erico Penna e Daniel de Andrade da AWS eram os apresentadores.

• Principalmente analisar, comparar e demonstrar os benefícios de uma Migração para a AWS
• Importância reforçada na identificação dos principais motivos para a migração (custo, resiliência, agilidade, M&A, regulação…)
• Como é importante sabe fazer a seleção e priorização dos workloads/servers
• Como combinar utilização de Migration Evaluator com MPA para obter maiores informações e resultados
• MPA já possui muitas regras de validação dos dados com base na experiencia da AWS
• Dados podem vir do ME ou de fontes externas, com customizações
• MPA também já possui grande pacote de assumptions que veem preenchidos com padrão conhecido por AWS, mas podem ser customizados conforme demanda
• Muito aplicável em migrações L&S
• A importância do TCO para avançar com o uso do MAP
• Integrações essenciais com Migration Hub, usando ADS
• Minimo privilégio para uso do ADS, priorizando sempre a segurança do ambiente em nuvem
• A facilidade na criação de diferentes assessments para demonstração dos cenários propostos

ENT213 – How to migrate, modernize, and grow using the AWS MAP

• Como a AWS, junto aos parceiros, ajudou centenas de milhares de empresas a migrar e modernizar suas operações digitais por meio do AWS Migration Acceleration Program (MAP)
• Sendo uma estrutura comprovada para transformação econômica, resiliente e ágil.
• Mesmos pontos de estratégia da sessão de TCO, pois ambos são complementares para uma migração nesse modelo
• Importância de testes, aprendizado e automações, principalmente no início do processo
• Cases de grandes clientes, como a Samsung com mais de +1bi de usuários
• Objetivos focados em business ao invés de objetivos somente de tecnologia
• Como a United Airlines fez melhor utilização do MAP

Keynote – Peter de Santis

Peter é o principal apresentador das novidades de infraestrutura da AWS. Iniciou discurso poderoso: “performance work is never done.”
Para isso, trouxe um grande variedade de novas instâncias em novas famílias e tamanhos. Iniciando com Nitro v5, processador mais avançado, com redução de latência e maior desempenho, C7gn, focado em computação com processadores Graviton, baseados em ARM. Gravitron3E é a nova família de processadores

Para os fans de Lambda, o SnapStart vem para balançar as rodas de conversa, com a promessa de reduzir o tempo de inicialização em mais de 90%, acabando de vez com os “cold starts”.

Um lançamento interessante também foi o ENA express, que usa o conceito de SRD (Scalable Reliable Diagram) para o público geral. Isso vai diminuir latência e quaisquer outros desafios que a nuvem pode apoiar.

O arquiteto de soluções Raphael Moura, apesar de não estar fisicamente com o time GFT em Las Vegas se encarregou de criar o próprio guia de novidades e compartilhar com todos. Esses são os lançamentos do dia 28/11/2022

Amazon VPC Reachability Analyzer now supports network reachability analysis across accounts in an AWS Organization

AWS Glue introduces custom visual transforms

Amazon Redshift extends SQL capabilities to simplify and speed up data warehouse migrations (preview)

AWS announces Amazon Verified Permissions (Preview)

New Amazon S3 Multi-Region Access Points failover controls enable active-passive configurations and customer-initiated failovers

Announcing comprehensive controls management with AWS Control Tower (Preview)

Amazon Macie introduces automated sensitive data discovery

AWS Marketplace for containers now supports direct deployment to EKS clusters

Introducing account customization within AWS Control Tower

Announcing the availability of Microsoft Office Amazon Machine Images (AMIs) on Amazon EC2 with AWS provided licenses

Amazon Redshift announces integration with Informatica Data Loader tool to accelerate data uploads at no cost

Announcing Amazon Braket Algorithm Library where you can now access pre-built quantum algorithms

AWS Network Manager introduces real-time performance monitoring for the AWS Global Network

Introducing Amazon EC2 R7iz instances

AWS Config rules now support proactive compliance

Introducing AWS Glue 4.0

Announcing the general availability of AWS Wickr

AWS Glue for Apache Spark Native support for Data Lake Frameworks (Apache Hudi, Apache Iceberg, Delta Lake)

AWS CloudTrail Lake now supports configuration items from AWS Config

Classifying and Extracting Mortgage Loan Data with Amazon Textract

Amazon CodeWhisperer adds Enterprise administrative controls, simple sign-up, and support for new languages

New – Amazon ECS Service Connect Enabling Easy Communication Between Microservices

New – AWS Marketplace for Containers Now Supports Direct Deployment to Amazon EKS Clusters

New – Amazon RDS Optimized Reads and Optimized Writes

New – Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS

Protect Sensitive Data with Amazon CloudWatch Logs

New – Amazon CloudWatch Cross-Account Observability

Amazon CloudWatch Internet Monitor Preview – End-to-End Visibility into Internet Performance for your Applications

New – A Fully Managed Schema Conversion in AWS Database Migration Service

AWS Application Migration Service Major Updates – New Migration Servers Grouping, Updated Launch, and Post-Launch Template

Automated Data Discovery for Amazon Macie

New – Announcing Amazon EFS Elastic Throughput

New for AWS Backup – Protect and Restore Your CloudFormation Stacks

New – Amazon Redshift Support in AWS Backup

Automated in-AWS Failback for AWS Elastic Disaster Recovery

Announcing AWS Glue for Ray (Preview)

New for Amazon Transcribe – Real-Time Analytics During Live Calls

AWS announces lower latencies for Amazon Elastic File System

Expanded API capabilities now generally available for Amazon QuickSight

AWS announces Amazon Inspector support for AWS Lambda functions

AWS Compute Optimizer now supports external metrics from observability partners

Elastic Load Balancing capabilities for application availability

Announcing preview for Amazon Route 53 Application Recovery Controller zonal shift

Announcing the general availability of AWS Local Zones in Buenos Aires, Copenhagen, Helsinki, and Muscat.

Announcing a new generation of Amazon FSx for OpenZFS file systems

Amazon FSx for NetApp ONTAP doubles the maximum throughput capacity and SSD IOPS per file system

Amazon FSx for NetApp ONTAP simplifies access to Multi-AZ file systems from on-premises and peered networks

AWS Nitro Enclaves now supports Amazon EKS and Kubernetes

 

Monday Night Live

New Amazon EC2 Instance Types In the Works – C7gn, R7iz, and Hpc7g  

New General Purpose, Compute Optimized, and Memory-Optimized Amazon EC2 Instances with Higher Packet-Processing Performance 

New – ENA Express: Improved Network Latency and Per-Flow Performance on EC2 

New Amazon QuickSight API Capabilities to Accelerate Your BI Transformation 

New — Create and Share Operational Reports at Scale with Amazon QuickSight Paginated Reports 

Amazon Inspector Now Scans AWS Lambda Functions for Vulnerabilities 

New – Accelerate Your Lambda Functions with Lambda SnapStart 

 

no images were found

Dia 02:

O segundo dia começou com tudo! Os arquitetos de soluções cloud, Fernando Rocha e José Vicente, acompanharam a sessão sobre padrões de integração entre múltiplas regiões AWS, avançando no conhecimento sobre os diferentes padrões de arquitetura. Passaram a entender sobre como integrar diferentes regiões e os trade offs de cada solução adotada. Os apresentadores enfatizaram o posicionamento do negócio na definição dos requisitos de resiliência e latência das aplicações, assim como expuseram as necessidades de um cenário seguindo esse modelo e se de fato ele é necessário.

Ademais, observabilidade e latência são pontos importantes que devem ser analisados desde o início de qualquer projeto de integrações entre regiões. Fica evidente que em cenários de múltiplas regiões, independente do padrão escolhido, o custo das operações será acrescido. Entretanto, essa é uma decisão que pode evitar perdas significativas no futuro das operações de qualquer companhia.

Na sessão ANT339: How Samsung modernized architecture for real-time analytics, conheceram os desafios enfrentados pela Samsung SmartThings para realização de análises de dados em tempo real. Entre os desafios apresentados, a grande quantidade de dados e a disponibilização e manutenção dos clusters foram alguns dos principais motivadores para uma melhoria na arquitetura. Essa mudança tem como objetivo a redução de custos, o aprimoramento da estabilidade dos sistemas e a melhoria na forma de operação. Na oportunidade, os arquitetos puderam conhecer as motivações da migração do Apache Spark para Apache Flink e como a Samsung tem usado o Kinesis Data Analytics para análise de streaming de dados em tempo real.

Leticia Massae, nossa Ambassador AWS, participou do Key Note de Adam Selipsky, e ouviu um pouco mais sobre os objetivos da AWS com o meio ambiente, que é ter 100% de energia renovável até 2025 e se tornar “Water positive” até 2030.

Além disso, foi mostrado a jornada de empresas que começaram a usar AWS e que tiveram uma média de 30% de redução de custo e a maior de redução de custo em uma grande plataforma de viagens, com uma redução de 70%.

Tivemos muitos insights sobre as novidades em diversas aspectos. Veja os principais abaixo:

Novidades em Integração:

  • Integração de zero-ETL do Amazon Aurora com o Amazon Redshift
    • Dentro de segundos em que os dados são escritos no Amazon Aurora, os dados é disponibilizado no Amazon Redshift, então agora não há necessidade de construir e manter pipelines de dados complexas para o ETL.
  • Integração do Amazon Redshift para Apache Spark
    • Facilita o build e execução de aplicações Spark no Amazon Redshift e Redshift Serverless, facilitando o uso de serviços de Analytics e Machine Learning em soluções
    • Sem mais a necessidade de mover seu dado ou ajustar conectores

Novidades em Governança:

  • Amazon DataZone
    • É um serviço de gerenciamento para catalogar, descobrir e compartilhar dados em escala.

Novidades em compreensão (Insights):

  • Reports operacionais paginados para Amazon QuickSight
    • Usuarios agora podem criar,agendar e compartilhar relatórios e exportar dados a partir de uma única solução de BI
  • Amazon QuickSight Q
    • Com QuickSight Q qualquer pessoa pode fazer perguntas em linguagem natural e receber respostas precisas com visualizações relevantes que os ajudam a obter insights de dados
  • Previsão baseada em Machine Learning com QuickSight Q
    • Permite que os usuários visualizem previsões de desempenho de negócios usando machine learning

Novidades em Segurança:

  • Detecção de ameaças em tempo de execução de container EKS usando Amazon GuardDuty
    • GuardDuty agora pode ser executado dentro dos nodes do container de EKS
  • Amazon Security Lake
    • Nova ferramenta da AWS que analisa e investiga petabyes de dados de segurança

Novidades em Computação:

  • Instância inf2 para EC2
    • 4x de maior rendimento e 1/10 da latência
  • Instância hcp6a para EC2
  • Instância hcp7g para EC2, usando graviton3
  • Instância hcp6id para EC2

Novidades nos Serviços:

Amazon Connect

  • Novos recursos baseados em Machine Learning para previsão, planejamento de capacidade, agendamento e capacitação de agentes
  • Contact Lens om gerenciamento de desempenho dos agentes
  • Agora fornece guias de passo a passo no workspace do agente

Outros

  • AWS SimSpace Weaver
    • Usado para rodar simulações espaciais dinâmicas de larga escala em Infraestrutura gerenciada.
  • AWS Supply Chain
    • Auxilia a mitigar riscos e reduzir custos para aumentar a resiliência do supply chain.
  • AWS Clear Rooms
    • É um serviço de analytics que auxilia os setores a analisar e colaborar com facilidade e segurança em seus conjuntos de dados, sem compartilhar ou revelar dados subjacentes.
  • Amazon Omics
    • É um novo serviço específico que ajuda as organizações de saúde e ciências biológicas a armazenar, consultar e analisar dados genômicos, transcriptômicos e outros dados ômicos, e em , seguida, gerar insights desses dados para melhorar a saúde e realizar avanços científicos.

Lançamentos futuros:

  • Identity Resolutions
    • Combinar e resolver registros disparados de uma variedade de canais e fontes.

Guilherme Marson e Alexandre Gusson participaram da sessão ENT206: Prioritizing people: 4 strategies that make or break migrations and beyond, apresentado por Sabina Joseph – Director, Strategic Industries, T&C, Amazon Web Services.

Um comentário feito por eles, para quem está acompanhando o evento, é a importância de se organizar para conseguir participar das sessões e não perder tempo entre as locomoções. “Achei interessante o tema da sessão, mas me organizei para conseguir chegar com antecedência no Mandalay Bay Conventions Center, que bem distante do centro do evento, que é no hotel Venetian. Agora que o evento voltou às suas dimensões gigantescas no pós pandemia, é bem importante considerar aos tempos de locomoção de uma sessão para outra.”

Sobre a sessão, em poucas linhas, do que se tratava:

“Com as tecnologias de nuvem em constante evolução, ter uma força de trabalho qualificada pode fazer ou quebrar o sucesso de uma organização na nuvem. Mas com 5 milhões de empregos na nuvem não preenchidos globalmente, bem como a pressão para resistir a interrupções econômicas e geopolíticas, os líderes devem ter uma estratégia de habilidades multifacetada para impulsionar a inovação, fornecer resultados e preparar seus negócios para o futuro. Agora é a hora de priorizar seu pessoal e investir em suas habilidades de nuvem. Nesta sessão, aprenda com a AWS, o Absa Group e a Cisco sobre estratégias para criar e engajar uma força de trabalho qualificada e conheça as novas ofertas e inovações de treinamento e certificação da AWS que estão desenvolvendo habilidades de nuvem em escala.”

Sabrina e seus convidados compartilharam diversos pontos interessantes e ressaltamos alguns:

  • Importância de o processo de certificação criar/resgatar cultura de aprendizado dos profissionais
  • Ter um time certificado em AWS pode:
    • Acelerar em 84% a migração
    • Melhorar em 90% a satisfação desses profissionais
    • Diminuir em 87% a intenção de deixar a empresa
  • O processo de certificação também traz alguns impactos econômicos:
    • 234% ROI em 3 anos
    • Aumentar em 88% as inovações em cloud
  • Relato de clientes que após a avançarem na adoção AWS, conseguiram reduzir o tempo de realização de pocs para 1 semana, versus mais de 10 semanas no cenário on-premises
  • Um destaque especial para o case da Absa Group, FSI africana, que também trouxe alguns insights:
    • Consideram que estão movendo OS TIMES para a cloud, não somente seus workloads
    • Ressaltaram a importância de Transformação Agile em paralelo à adoção cloud, considerando principalmente o processo de erro e aprendizado
  • Como principais fatores de sucesso do processo de certificação, os principais fatores citados foram:
    • ter forte apoio executivo
    • Identificar os Champions dentro do processo e utilizar seu apoio como multiplicadores
    • criar competição interna saudável
    • reconhecimento
    • uso de ferramentas, como o recém-lançado AWS Industry Quest: https://aws.amazon.com/training/digital/aws-industry-quest/
    • abrir o leque para diferentes tipos de treinamento e fonte de conhecimento, para permitir adesão de diferentes tipos de learners.

Para terminar, veja abaixo os lançamentos do segundo dia de evento e a nossa galeria com as fotos de alguns dos maiores insights e da participação do nosso time nas palestras.

Amazon Kinesis Data Firehose adds support for data stream delivery to Amazon OpenSearch Serverless  

Announcing availability of AWS Outposts in Qatar, Guatemala, and Trinidad & Tobago  

AWS Verified Access Preview — VPN-less Secure Network Access to Corporate Applications 

New – Announcing Automated Data Preparation for Amazon QuickSight Q 

Introducing VPC Lattice – Simplify Networking for Service-to-Service Communication (Preview) 

 

Adam Selipsky Keynote 

Preview: Amazon OpenSearch Serverless – Run Search and Analytics Workloads without Managing Clusters 

New – Amazon Redshift Integration with Apache Spark 

AWS announces Amazon Aurora zero-ETL integration with Amazon Redshift  

New question types for Amazon QuickSight Q  

Announcing Amazon Redshift integration for Apache Spark with Amazon EMR  

Preview: Amazon Security Lake – A Purpose-Built Customer-Owned Data Lake Service 

AWS Announces Torn Write Prevention for EC2 I4i instances, EBS, and Amazon RDS  

AWS announces Amazon EC2 Inf2 instances (Preview)  

New – Amazon EC2 Hpc6id Instances Optimized for High Performance Computing 

New AWS SimSpace Weaver–Run Large-Scale Spatial Simulations in the Cloud 

Amazon Connect – New ML-Powered Capabilities for Forecasting, Capacity Planning, Scheduling, and Agent Empowerment 

Introducing Amazon Omics – A Purpose-Built Service to Store, Query, and Analyze Genomic and Biological Data at Scale 

Announcing AWS Supply Chain (Preview)

New for Amazon Redshift – General Availability of Streaming Ingestion for Kinesis Data Streams and Managed Streaming for Apache Kafka 

Announcing AWS KMS External Key Store (XKS) 

Amazon Redshift announces support for Dynamic Data Masking (Preview)

 

no images were found

Dia 03

Mais um dia de compartilhamento de conhecimentos no re:Invent.

A manhã começou com a nossa Ambassador Leticia Massae participando da sessão 30-11 – KEY003 – Swami Sivasubramanian (Vice President of AWS Data and Machine Leaning), esses foram os pontos altos apresentados na sessão:

Elementos core para estratégia de dados

  • Construir base de dados a prova do futuro
  • Traçar tecido conjuntivo
  • Democratizar dados

Construindo a base de dados a prova do futuro

  • Ferramentas para cada workload
  • 94% dos clientes que usam a AWS usam mais de 10 bancos de dados
  • Desempenho em escala
  • Remover trabalho pesado
  • Confiabilidade e escalabilidade

Novidades em workloads:

  • Amazon Athena para Apache Spark
    • Use para análises complexas e poderosas
    • Gaste mais tempo com insights do que esperando por resultados
    • Crie aplicativos sem gerenciar recursos ou configurar software
  • Apache Spark roda 3x mais rápido na AWS

Novidades em desempenho:

  • Amazon DocumentDB Elastic Cluster
    • Escale workload de forma elástica em minutos
    • Zero Impacto na disponibilidade ou desempenho de seu aplicação
    • Gerencie automaticamente a infraestrutura subjacente
  • Amazon Sagemaker para suporte Machine Learning Geoespacial
    • Adquira dados geoespaciais em apenas alguns clicks
    • Prepare os dados geoespaciais com algoritmos integrados
    • Construção de modelos de velocidades com modelos de redes neurais

Novidades em confiabilidade e segurança:

  • Amazon Redshift Multi-AZ
    • Garante a capacidade de failover automático
    • Maximiza o desempenho com alta disponibilidade
    • Mantem a continuidade dos negócios sem alterações no aplicativo
  • Extensões de linguagens confiáveis para PostgreSQL
    • Use as extensões com segurança ara atender ás suas necessidades
    • Instale extensões sem espera para certificação da AWS
    • Aproveite as linguagens de programação populares
  • Amazon GuardDuty para proteção no RDS
    • Identifica potenciais ameaças em dados armazenados no Aurora
    • Cria perfis e monitora atividades de acesso a bancos de dados novos e existentes em sua conta
    • Utiliza modelos de machine learning personalizados para detectar com precisão logins suspeitos nos bancos de dados aurora

Novidades em Ferramentas de Qualidade:

  • AWS Glue Data Quality
    • Criação automática de regras para qualidade de dados
    • Melhorar a qualidade dos dados para uma melhor tomada de decisão
    • Reduzir esforços manuais de dias para apenas horas

Novidades em Governança:

  • Controles de acesso centralizados ara compartilhamentos de dados no Redshift
    • Gerencie centralmente os controles de acesso dos dados do redshift usando informações de Lake Formations
    • Acessos e usuário designado sem consultas complexas ou scripts manuais
    • Melhor visualização e controle de dados compartilhados dentro e entre contas de sua organização
  • 3 novos tipos de Governança em Machine Learning para Amazon Sagemaker
    • Gerenciador de função: Defina permissões de usuário personalizadas em minutos
    • Cartões de modelo: Centralize as informações e documentação dos modelos
    • Dashboard de modelo: Monitore o desempenho do modelo em um só lugar

Novidades em Zero-ETL:

  • Amazon Redshift auto-cópia a partir do S3
    • Simplifica o upload de dados do Amazon S3 para o Amazon Redshift
    • Regras de ingestão continua podem ser configuradas para carregar automaticamente novos arquivos sem a necessidade de ferramentas adicionais
    • Os Jobs de cópia rastreiam arquivos carregadis anteriormente e os excluem do processo de ingestão
    • Sua atividade pode ser monitorada usando as tabelas do sistema
    • Os jobs podem ser executados manualmente para reutilizar instruções de copia e evitar a duplicação de dados
  • Amazon AppFlow agora suporte mais de 50 conectores
  • Amazon Sagemaker Data Wragler agora suporte mais de 40 novos data sources

Alexandre Gusson participou de algumas sessões durante o dia, e esses foram seus principais insights:

Cloud compliance

  • Avaliação e gerenciamento para conformidade de frameworks
  • Exemplos FedRAMP, NIST e outros
  • Diferentes opções de auditoria, entre elas auditoria de acesso privilegiado em serviços AWS
  • Como obter governança e conformidade com medidas preventivas e de detectivas

Cloud FinOps – CloudHealth

  • Sessão mostrando como os projetos alinham seus processos às realidades de operar na nuvem
  • Como é a busca por entender os gastos e, e analisar a infraestrutura em contexto de negócios
  • Como profissionais de FinOps implementam uma solução para analisar dados, gerenciar anomalias e medir custos

Keynote da manhã: https://press.aboutamazon.com/2022/11/aws-announces-eight-new-amazon-sagemaker-capabilities

Best practices for organizing and operating on AWS

  • Principais desafios no gerenciamento de muitas contas
  • Case da Warner Brothers
  • Como trouxeram agilidade no gerenciando e na operação dos workloads
  • Desafios de Segurança, automações e otimização de custos
  • Demonstração usando AWS Organizations e o AWS Systems Manager
  • Desenvolvimento de governança como um produto
  • Como escalaram o ambiente de forma confiável

Protecting production with Amazon ECS security features

  • Abordagem de segurança no ECS
  • Analise de recursos de segurança na AWS, usando IAM para tarefas no ECS e estratégia para segurança de rede
  • Como usar corretamente segredos e informações confidenciais para contêineres

Enquanto isso, Milton Andrade e Rodrigo Reis, arquitetos de soluções, compartilharam seus insights técnicos sobre outras palestras selecionadas:

ENT321-R1 – Secrets to a successful migration at scale

Neste workshop, os palestrantes: Jonathan Shapiro-ward e Sigal Weiner trouxeram os seguintes pontos:

  • Use o agente para descobrir ou importar dados de um CMDB usando o athena para consultar os dados necessários no console do Migration Hub.
  • Ferramenta MGN para automatizar a migração usando um padrão Lift and Shift, totalmente embutido no console AWS e integrado ao Migration Hub.
  • Muitas novas funcionalidades foram adicionadas esta semana que facilitarão as migrações lift and shift com a ferramenta MGN, como agrupar os servidores por aplicativos e agrupar os aplicativos por ondas. Isso permitirá cortar uma grande quantidade de servidores ao mesmo tempo.
  • Capacidade de criar modelos personalizados para as migrações em vez de usar apenas o modelo padrão para todos os servidores.
  • Para tarefas pós-migrações, podemos configurar automaticamente, por meio do console, a instalação do agente SSM e configurar a recuperação de desastres para outra região.
  • O AWS Windows Migration Accelerator fornece crédito (US$ 200) para cada carga de trabalho do Windows migrada.
  • Workshop onde executamos o planejamento da migração utilizando ADS, Migration HUB e o Migration Evaluator. Também migramos uma carga de trabalho usando MGN.

ENT313-R1 – AWS Migration and Modernization GameDay

Tipo: Gamification

Tecnologias: Migration Hub, MGN, MGN agent.

  • Atividade do dia do jogo para migrar cargas de trabalho seguindo as melhores práticas, com foco em como analisar, projetar, migrar, modernizar e operar.

COP345 – Visibility into how internet issues impact application performance

Tipo: Breakout Session

Tecnologias: Amazon Cloudwatch Internet Monitor

  • Novo serviço lançado pela AWS que permite ter observabilidade em um sistema baseado em pontuação para problemas de internet.
  • Isso foi criado para situações em que a infraestrutura não apresentava problemas, mas os usuários ainda comunicavam problemas baseados em latência ao provedor do serviço.
  • Essa observabilidade permite que o provedor do serviço verifique quais regiões estão com pontuação baixa no serviço de internet e se possível ajuste o roteamento do tráfego para que os usuários não sejam impactados.
  • Essa tecnologia é baseada em dados provenientes dos “Edge Locations” e do Cloudfront da Amazon, onde agruparam todas as informações para gerar um sistema de pontuação para o serviço a ser usado.
  • Houve uma apresentação de caso em que o principal engenheiro de rede da EA Sports falou sobre esse serviço e como ele ajudou a identificar problemas e tomar medidas corretivas em nome da rede FIFA.

PEC214 – Building a successful migration and modernization practice for AWS partners

Tipo: Breakout Session

Tecnologias: AWS Migration Tools

  • Foram apresentados os principais desafios como: complexidade, migração do cliente, critérios de sucesso e estrutura do projeto.
  • Diagrama de fluxo de trabalho da jornada Fornecedor > Parceiro > Consultor. Recomendações foram dadas aos parceiros da AWS para migrações.
  • Foi mostrado o Programa de Aceleração de Migração da AWS (MAP) e como ele pode ajudar o cliente que está migrando com financiamentos da AWS.
  • Foram apresentadas as ferramentas da AWS, gratuitas, o que pode realmente acelerar a migração para a AWS. Ferramentas:
    • Migration Evaluator
    • AWS Application Discovery Service
    • AWS Migration Portfolio Assessment
    • AWS Migration Hub Strategy Recommendation
    • Migration Evaluator
    • AWS Migration Portfolio Assessment

Você pode, é claro, acompanhar os lançamentos do dia nos links a seguir:

Announcing Additional Data Connectors for Amazon AppFlow 

New — Amazon SageMaker Data Wrangler Supports SaaS Applications as Data Sources 

New — Introducing Support for Real-Time and Batch Inference in Amazon SageMaker Data Wrangler 

New for Amazon Redshift – Simplify Data Ingestion and Make Your Data Warehouse More Secure and Reliable 

AWS Machine Learning University New Educator Enablement Program to Build Diverse Talent for ML/AI Jobs 

New – Share ML Models and Notebooks More Easily Within Your Organization with Amazon SageMaker JumpStart 

Next Generation SageMaker Notebooks – Now with Built-in Data Preparation, Real-Time Collaboration, and Notebook Automation 

New for Amazon SageMaker – Perform Shadow Tests to Compare Inference Performance Between ML Model Variants 

Launch Amazon SageMaker Autopilot experiments from Amazon SageMaker Pipelines to easily automate MLOps workflows  

Amazon SageMaker Studio now supports automatic conversion of notebook code to production-ready jobs  

Introducing AWS Glue Delivery

Announcing AWS Data Exchange for AWS Lake Formation (Preview)

Announcing AWS Data Exchange for Amazon S3 (Preview)  

AWS Marketplace Vendor Insights – Simplify Third-Party Software Risk Assessments  

 

Swami Sivasubramanian Keynote 

New — Amazon Athena for Apache Spark 

Announcing Amazon DocumentDB Elastic Clusters 

New – Redesigned UI for Amazon SageMaker Studio 

Preview: Use Amazon SageMaker to Build, Train, and Deploy ML Models Using Geospatial Data 

New – Trusted Language Extensions for PostgreSQL on Amazon Aurora and Amazon RDS 

New ML Governance Tools for Amazon SageMaker – Simplify Access Control and Enhance Transparency Over Your ML Projects 

Join the Preview – AWS Glue Data Quality 

Introducing AWS AI Service Cards – a new resource for responsible AI  

Amazon Redshift data sharing now supports centralized access control with AWS Lake formation (Preview)   

Dia 4

Estamos chegando na reta final do re:Invent, e nosso time teve a oportunidade de assistir nomes importantes no mundo de cloud e tirar muitos insights e orientações do que aguarda esse mercado que não para de inovar.

No quarto dia, Alexandre Gusson participou da sessão Proactive governance and compliance for AWS workloads, e esses foram os seus destaques:

  • Palestra baseada em cenário da NextEra Energy e Capital One, mostrando como manter governança e a conformidade como automação e escala no serviços que mantém o ambiente na AWS;
  • Uso de recursos como AWS Config, AWS CloudFormation, AWS Service Catalog, AWS Systems Manager e AWS Service Management Connectors;
  • Exemplos de como dimensionar cargas de trabalho e recursos para produção.

Outras sessões que nosso Tech Manager Business pode acompanhar foram:

Scaling on AWS for your first 10 million users.

  • Sessão repetida diversas vezes no evento, ensinando como lidar com crescimento rápido da infraestrutura na AWS. Garantindo sucesso desde os primeiros dias dos negócios em nuvem. Passaram pela implementação de serviços AWS, desde de arquiteturas simples até as mais complexas. Simplificando assim alguns desafios comuns de infraestrutura.

Set up governance guardrails across your multi-account environment

  • Palestrar repetida nos dias de evento, devido a criticidade e importância do assunto abordado.
  • Exemplo de como a AWS fornece guardrails detectivos e corretivos visando ajudar organizações a aplicar políticas de governança em suas contas na AWS, mantendo assim todos os recursos em conformidade. 
  • O case demonstrado foi com base nas estratégias que a Thomson Reuters usa para monitorar e corrigir automaticamente recursos fora de conforminada em todas as suas contas dentro da organização, usando serviços como AWS Config, AWS Lambda, AWS Systems Manager e AWS CloudFormation Hooks.

Migrating 600 databases to AWS and making them better, faster, and cheaper

  • Exemplos e desafios da jornada de uma migração de banco de dados em grande escala. 
  • Demonstraram a migração de um Oracle para o PostgreSQL na AWS. 
  • Deram detalhes e dicas de lições aprendidas, por exemplo em como não ter inatividade, garantir a captura de dados alterados e conversões de esquemas. 
  • Abordaram também a otimização de custos, em como ter o banco de dados mais baratos eliminando os custos de licenciamento, e acelerando o desenvolvimento, tornando a aplicação mais rápida.

No dia de hoje também, os arquitetos Fernando Rocha e José Vicente participaram do workshop sobre como construir uma solução para identificar eventos suspeitos em tempo real. Na ocasião, eles desenvolveram uma solução para identificar vitórias suspeitas de jogares de um casino utilizando ferramentas como, por exemplo, Amazon Managed Streaming for Apache Kafka (Amazon MSK) e Kinesis Data Analytics (KDA).

ANT403: Event detection with Amazon MSK and Amazon Kinesis Data Analytics

O workshop foi divido em duas etapas, na primeira parte eles puderam conhecer os conceitos de streaming de aplicações, reforçando o entendimento sobre stream storage, stateful stream processing, windowing e event time vs. processing time e como essas abordagens podem ajudar os nossos clientes na resolução dos mais diversos desafios.

Além disso, é consenso entre os participantes e apresentador que a realização de análises em tempo real de streaming de dados utilizando SQL é um tema emergente e que, com certeza, mudara a forma de como os workloads de dados operam.

A seguir você pode conferir algumas características das principais aplicações utilizadas nesse laboratório.

Amazon MSK

  • Totalmente gerenciado, altamente disponível e seguro Apache Kafka
  • Múltiplas opções de autenticação, incluindo SASL/SCRAM, mutual TLS, e
    AWS identity and Access Management (IAM)
  • MSK Connect que oferece suporte fácil para integrações com outras origem e destinos de dados.

Amazon Kinesis Data Analytics Studio

  • Totalmente gerenciado, Apache Flink e Apache Zeppelin
  • Habilita análise e visualização de streaming de dados em notebook
  • Pode realizar filtros, transformações e agregações a partir de uma
  • Interface SQL
  • Pode usar Apache Kafka/Apache MSK e Amazon Kinesis Data Streams de maneira nativa como sources e sinks

Na segunda parte, os arquitetos realizaram a implementação da arquitetura necessária para resolver os desafios do workshop.

ANT342: How Poshmark accelerates growth via real-time analytics & personalization

Fernando Rocha e José Vicente também acompanharam a apresentação da Poshmark sobre a evolução do seu workload de dados para análise se streaming em tempo real. 

Eles evidenciaram mais uma vez a importância da adoção das ferramentas corretas para que as regras de negócio sejam atendidas da melhor maneira possível. Do mesmo modo que, porque é tão importante que os dados sejam analisados no menor tempo possível ( tempo real ) e quais as vantagens dessa abordagem, assim como os inúmeros benefícios para o negócio.

Arquitetura para análise de dados em tempo real e enriquecimento de informações para que o dados atenda à todos os requisitos do negócio. 

Como resultado dessa nova abordagem, a Poshmark atingiu redução de custos, agilidade na análise de dados em tempo real, personalizações por clientes e maior eficiência operacional.

Os Arquitetos de soluções Milton Andrade e Rodrigo Reis participaram do workshop de construção de uma solução de disaster recovery utilizando os Storage Services da AWS.

STG312 – Build a disaster recovery solution with AWS storage services

  • Exemplificado que dependendo do RTO/RPO requistado pelo cliente podemos utilizar diferente soluções da AWS. Lembrando que quanto menor o RTO/RPO o custo será maior.
  • O serviço de AWS Backup foi um dos serviços demonstrados, e dependendo da cadência utilizado dos backups teremos um RPO menor.
  • Apresentado o serviço de EFS onde seria realizado o armazenamento do backup.
  • No Workshop realizamos a configuração de Backup de um ambiente e simulamos a perda de dados (Disaster) e realizamos o backup e subida do ambiente conforme os RTO/RPO definidos.

Dia 5

Após uma semana corrida e de muitas atividades no re:Invent em Las Vegas, voltamos ao Brasil carregados de muitos aprendizados e memórias nessa semana que passou.

O dia a dia da feira movimentava mais de 50 mil pessoas, que buscavam conhecimento em palestras ou grupos de discussão. Perspectivas recentes de estudos apontam que os serviços em nuvem estão em ascensão, tornando-se cada vez mais fundamental para os negócios, por isso muito movimento pela cidade americana.

Ao longo da semana, nossos arquitetos de soluções cloud e demais especialistas tiveram oportunidades em conhecer abordagens modernas, analíticas, consultivas e específicas para integrar cada vez mais as soluções que oferecemos.

Em um dos dias, o #TeamGFT destacou uma sessão sobre padrões de integração entre múltiplas regiões AWS, que indica a latência e observabilidade como pontos importantes para início de qualquer projeto de integrações entre regiões.

Além disso, você sabia que a GFT tem dois Embaixadores AWS? Rafael Suguihara, eleito duas vezes consecutivas, e Leticia Massae estavam presentes também.

A Leticia, primeira brasileira a receber esse mérito, participou do Key Note de Adam Selipsky, CEO da AWS, e ouviu um pouco mais sobre os objetivos da empresa com o meio ambiente, que é ter 100% de energia renovável até 2025 e se tornar “Water positive” até 2030, contribuindo para questões climáticas que vão sendo discutidas ano após ano. E ela também relatou que empresas que utilizaram AWS, obtiveram 30% de redução de custo na média.

E por falar em ser sustentável, estávamos no re:Invent com um estande dedicado ao GreenCoding, o que mostra nosso alinhamento com o que foi falado pelo executivo da AWS. Nossas linhas de códigos verdes tem um potencial enorme para reduzir o impacto no meio ambiente.

Nosso time volta carregado de novidades e informações das mais diversas aplicações em nuvens. Agora é colocar em prática e aguardar o próximo ano para mais um re:Invent.