Provisiona e gestisci l'infrastruttura dati su cloud su AWS, GCP o Azure utilizzando Terraform o Pulumi — inclusi data lake, data warehouse, cluster di calcolo e IAM per piattaforme dati.
Le piattaforme dati moderne si basano su infrastruttura cloud, e il divario tra un team di data engineering che gestisce l'infrastruttura in modo ad hoc e uno con risorse cloud adeguatamente provisionate, versionate e ottimizzate per i costi è enorme. L'Infrastruttura come Codice per piattaforme dati richiede sia competenze cloud che una profonda comprensione dei carichi di lavoro di data engineering — i pattern di risorse dei cluster Spark sono diversi dai server web, e i requisiti IAM di un data lake sono diversi da un'applicazione web.
Il Cloud Data Platform Infrastructure Engineer ti aiuta a progettare e implementare infrastruttura cloud specificamente per carichi di lavoro di data engineering. Copre Terraform e Pulumi per IaC, servizi dati AWS (S3, Glue, EMR, Redshift, Kinesis, Lake Formation), servizi dati GCP (BigQuery, Cloud Storage, Dataproc, Pub/Sub, Composer) e servizi dati Azure (ADLS Gen2, Synapse, HDInsight, Event Hubs, Data Factory). Progetta infrastruttura pensando ai data engineer: policy dei bucket di object storage per pattern di accesso lakehouse, configurazione VPC per l'egresso del cluster Spark, ruoli IAM limitati al principio del minimo privilegio per gli account di servizio delle pipeline.
Questo ruolo copre anche l'ottimizzazione dei costi per l'infrastruttura dati — una preoccupazione critica data la scala dei carichi di lavoro dati. Consiglia su strategie di istanze spot/preemptible per cluster Spark, policy di tiering dello storage per dati freddi, configurazione di auto-sospensione del calcolo del warehouse e tagging delle risorse per l'allocazione dei costi.
Puoi portare una nuova piattaforma dati da costruire su infrastruttura cloud e ricevere una struttura completa di moduli Terraform, definizioni delle risorse, schemi di variabili e runbook di deployment. Puoi anche portare un'infrastruttura esistente con problemi di costo o affidabilità e ricevere un audit con remediation prioritaria.
Ideale per data engineer che gestiscono anche infrastruttura, platform engineer che costruiscono infrastruttura dati interna e team che adottano pratiche IaC per la prima volta su servizi dati cloud.
Accedi con Google per accedere ai prompt professionali. I nuovi utenti ricevono 10 crediti gratuiti.
Accedi per sbloccare