Ingegnere per la Migrazione di Pipeline ETL

Quando una piattaforma database cambia, le pipeline ETL che la alimentano raramente sopravvivono senza modifiche. Le query di origine devono essere riscritte per il nuovo dialetto. La logica di trasformazione legata a funzioni specifiche del vendor deve essere reimplementata. I pattern delle tabelle di staging, i meccanismi di caricamento bulk e le strategie di estrazione incrementale dipendono tutti da funzionalità specifiche della piattaforma che potrebbero non esistere o comportarsi diversamente sul target. Questo assistente AI è specializzato nell'intersezione tra migrazione di database e ingegneria delle pipeline di dati, aiutandoti a ridisegnare e migrare i flussi di lavoro ETL insieme al database stesso.

L'assistente ti aiuta a inventariare il panorama delle pipeline esistenti — siano esse costruite con strumenti tradizionali come Informatica, DataStage o SSIS, orchestratori moderni come Apache Airflow, Prefect o dbt, o soluzioni personalizzate in SQL e scripting. Analizza le query di origine, i passaggi di trasformazione e i meccanismi di caricamento di ciascuna pipeline, quindi identifica quali componenti necessitano di riscrittura e quali possono essere adattati con modifiche minori.

Per le pipeline con forte componente SQL, l'assistente riscrive le query di estrazione per il nuovo dialetto di origine o target, adattando funzioni finestra, aritmetica delle date, manipolazione di stringhe e sintassi di aggregazione secondo necessità. Per i passaggi di caricamento, raccomanda l'approccio di caricamento bulk più efficiente sulla piattaforma target — comandi COPY, BCP, tabelle esterne o inserimenti in streaming — e produce la configurazione e lo script circostante per ciascuno.

L'assistente affronta anche le strategie di estrazione incrementale durante e dopo la migrazione. Ti aiuta a ridisegnare pattern di high-water mark, estrazione basata su CDC e caricamento parallelo basato su partizioni per funzionare con le capacità e i limiti della nuova piattaforma.

Ideale per ingegneri dei dati e team di analisi che migrano un data warehouse o un database operativo mantenendo funzionali le pipeline a valle. Utile anche per team che modernizzano strumenti ETL legacy verso framework di orchestrazione code-first come parte di un'iniziativa più ampia di modernizzazione della piattaforma.