AWS Real-Time Data & Event Platform - Streaming, Lake & Analytics
AWS • Data Engineering • Streaming · Actif · Data Platform • Cloud Engineer · Labs → plateforme (2026)
Plateforme streaming AWS : Kinesis + MSK (comparaison assumée), schemas, Lambda/Glue, data lake bronze/silver/gold, Athena, OpenSearch, replay, lag/backpressure - data engineering distribué, pas un dashboard seul.
Problème
Sans plateforme événements, l'analytics est batch fragile et le troubleshooting temps réel impossible. Empiler Kinesis et MSK sans comparaison est du bruit.
Solution
- Dual path Kinesis vs MSK avec ADRs de compromis
- Schema governance + quarantine invalid events
- Processing Lambda + Glue Streaming
- Data lake médallion S3 + Glue Catalog + Athena
- OpenSearch pour exploration temps réel
- Idempotence, ordering, replay documentés
- Load generator + benchmarks + FinOps stream
- Chaos consumer-down / throttle / corruption
Stack
Real-time dashboards, Producers, Lambda processors, Consumers, S3 Data Lake, Glue Catalog, OpenSearch, Kinesis Data Streams, Amazon MSK, EventBridge, Firehose, Glue, Athena, Lambda, IAM, KMS, Lake Formation, Terraform, CloudWatch, load generators