=== Job Execution Log === Job: DataHub Daily Refresh Execution ID: 487 Start Time: 2026-03-05 12:30:00 Command: C:\PYTHON\DataHub\start_daily_refresh.bat Working Directory: C:\PYTHON\DataHub ================================================== ============================================================================ DataHub - Daily Incremental Refresh ============================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db ============================================================================ 2026-03-05 12:30:04 - data_ingestion_orchestrator - INFO - Avvio processo completo di DataIngestion orchestrato... 2026-03-05 12:30:04 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: GEMMA --- 2026-03-05 12:30:04 - gemma_importer - INFO - Avvio importazione per 'stg_gemma' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_gemma.csv 2026-03-05 12:30:06 - gemma_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=0 2026-03-05 12:30:38 - gemma_importer - INFO - File letto: 51,065 righe. 2026-03-05 12:30:38 - gemma_importer - INFO - Pulizia tabella di staging 'stg_gemma'... 2026-03-05 12:30:38 - gemma_importer - INFO - Pulizia completata. 2026-03-05 12:30:38 - gemma_importer - INFO - Inserimento di 51,065 righe in 'stg_gemma'... 2026-03-05 12:30:40 - gemma_importer - INFO - Inserimento dati in staging completato con successo. 2026-03-05 12:30:40 - data_ingestion_orchestrator - INFO - --- Fine importazione per: GEMMA --- 2026-03-05 12:30:40 - data_ingestion_orchestrator - INFO - Processo completo di DataIngestion terminato in 35.87 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 05/03/2026 12:30:01 = ============================================================ IMPORTAZIONE DATI (Staging) ------------------------------\n Utilizzando percorso da server per gemma: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_gemma.csv \nAvvio processo di ingestione (Staging)... Processo di ingestione (Staging) terminato. \n============================== RISULTATI IMPORTAZIONE (Staging) ============================== \n\u2705 Gemma Staging: - Righe lette da CSV: 51,065 - Righe inserite staging: 51,065 \n------------------------------ Percorso database utilizzato: C:\PYTHON\DataHub\db\temp.db Controlla i file di log per maggiori dettagli. NOTA: I dati sono stati caricati nelle tabelle STAGING (stg_*). Eseguire il comando 'transform' per popolare le tabelle Core. ==============================\n 2026-03-05 12:30:43 - data_ingestion_orchestrator - INFO - Avvio processo completo di DataIngestion orchestrato... 2026-03-05 12:30:43 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: OSSERVATORIO --- 2026-03-05 12:30:43 - osservatorio_importer - INFO - Avvio importazione per 'stg_osservatorio' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\osservatorio.txt 2026-03-05 12:30:45 - osservatorio_importer - INFO - Lettura file senza header con: encoding='cp1252', delimitatore=';' C:\PYTHON\DataHub\data_ingestion\_osservatorio_importer.py:32: ParserWarning: Skipping line 4118: expected 26 fields, saw 27 df = pd.read_csv( 2026-03-05 12:31:47 - osservatorio_importer - INFO - File letto: 35,216 righe. 2026-03-05 12:31:47 - osservatorio_importer - INFO - Pulizia tabella di staging 'stg_osservatorio'... 2026-03-05 12:31:48 - osservatorio_importer - INFO - Pulizia completata. 2026-03-05 12:31:48 - osservatorio_importer - INFO - Inserimento di 35,216 righe in 'stg_osservatorio'... 2026-03-05 12:31:48 - osservatorio_importer - INFO - Inserimento dati in staging completato con successo. 2026-03-05 12:31:48 - data_ingestion_orchestrator - INFO - --- Fine importazione per: OSSERVATORIO --- 2026-03-05 12:31:48 - data_ingestion_orchestrator - INFO - Processo completo di DataIngestion terminato in 65.87 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 05/03/2026 12:30:41 = ============================================================ IMPORTAZIONE DATI (Staging) ------------------------------\n Utilizzando percorso da server per osservatorio: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\osservatorio.txt \nAvvio processo di ingestione (Staging)... Processo di ingestione (Staging) terminato. \n============================== RISULTATI IMPORTAZIONE (Staging) ============================== \n\u2705 Osservatorio Staging: - Righe lette da CSV: 35,216 - Righe inserite staging: 35,216 \n------------------------------ Percorso database utilizzato: C:\PYTHON\DataHub\db\temp.db Controlla i file di log per maggiori dettagli. NOTA: I dati sono stati caricati nelle tabelle STAGING (stg_*). Eseguire il comando 'transform' per popolare le tabelle Core. ==============================\n 2026-03-05 12:31:49 - transform_process - INFO - Avvio processo di trasformazione da Staging a Core... 2026-03-05 12:31:49 - transform_process - INFO - Database target: C:\PYTHON\DataHub\db\temp.db 2026-03-05 12:31:49 - transform_process - INFO - --- Inizio Trasformazione Gemma --- 2026-03-05 12:31:49 - transform_process - INFO - Inizio trasformazione Gemma (stg_gemma -> gemma) 2026-03-05 12:31:49 - transform_process - INFO - Lettura dati da stg_gemma... 2026-03-05 12:31:50 - transform_process - INFO - Lette 51,065 righe da stg_gemma. 2026-03-05 12:31:50 - transform_process - INFO - Applicazione logica di trasformazione per i campi 'V_*'... 2026-03-05 12:31:50 - transform_process - INFO - Aggiornati 9302 record nella colonna 'V_C5' con '!'. 2026-03-05 12:31:50 - transform_process - INFO - Aggiornati 10741 record nella colonna 'V_I1' con '!'. 2026-03-05 12:31:50 - transform_process - INFO - Aggiornati 9536 record nella colonna 'V_R4' con '!'. 2026-03-05 12:31:50 - transform_process - INFO - Aggiornati 11882 record nella colonna 'V_LA5' con '!'. 2026-03-05 12:31:50 - transform_process - INFO - Aggiornati 12479 record nella colonna 'V_I2' con '!'. 2026-03-05 12:31:50 - transform_process - INFO - Aggiornati 12001 record nella colonna 'V_IRIS' con '!'. 2026-03-05 12:31:50 - transform_process - INFO - Aggiornati 12322 record nella colonna 'V_TOP' con '!'. 2026-03-05 12:31:50 - transform_process - INFO - Aggiornati 8882 record nella colonna 'V_FOC' con '!'. 2026-03-05 12:31:50 - transform_process - INFO - Aggiornati 12210 record nella colonna 'V_C20' con '!'. 2026-03-05 12:31:50 - transform_process - INFO - Aggiornati 12447 record nella colonna 'V_CI34' con '!'. 2026-03-05 12:31:50 - transform_process - INFO - Aggiornati 12500 record nella colonna 'V_C27' con '!'. 2026-03-05 12:31:50 - transform_process - INFO - Aggiornati 12387 record nella colonna 'V_CIN' con '!'. 2026-03-05 12:31:50 - transform_process - INFO - Aggiornati 11967 record nella colonna 'V_INF' con '!'. 2026-03-05 12:31:50 - transform_process - INFO - Aggiornati 12429 record nella colonna 'V_EMO' con '!'. 2026-03-05 12:31:50 - transform_process - INFO - Aggiornati 12437 record nella colonna 'V_ENE' con '!'. 2026-03-05 12:31:50 - transform_process - INFO - Aggiornati 12477 record nella colonna 'V_COM' con '!'. 2026-03-05 12:31:51 - transform_process - INFO - Aggiornati 12480 record nella colonna 'V_STO' con '!'. 2026-03-05 12:31:51 - transform_process - INFO - Aggiornati 12452 record nella colonna 'V_CRI' con '!'. 2026-03-05 12:31:51 - transform_process - INFO - Aggiornati 12481 record nella colonna 'V_ACT' con '!'. 2026-03-05 12:31:51 - transform_process - INFO - Logica di trasformazione completata. Totale campi aggiornati: 223,412. 2026-03-05 12:31:51 - transform_process - INFO - Pulizia e inserimento dati nella tabella 'gemma' Core... 2026-03-05 12:31:51 - transform_process - INFO - Calcolo hash MD5 per righe gemma... 2026-03-05 12:31:56 - transform_process - INFO - Hash MD5 calcolato per 51065 righe gemma. 2026-03-05 12:31:56 - transform_process - INFO - [Gemma] record pre-delete in 'gemma': 51038 2026-03-05 12:31:57 - transform_process - INFO - Tabella 'gemma' Core pulita. Inizio inserimento di 51,065 righe. 2026-03-05 12:31:59 - transform_process - INFO - Inserite 51,065 righe nella tabella 'gemma' Core. 2026-03-05 12:31:59 - transform_process - INFO - Trasformazione Gemma completata in 9.35 secondi. Status: SUCCESS 2026-03-05 12:31:59 - transform_process - INFO - --- Fine Trasformazione Gemma (Status: SUCCESS) --- 2026-03-05 12:31:59 - transform_process - INFO - Processo di trasformazione terminato (blocco finally). Durata: 9.40 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 05/03/2026 12:31:49 = ============================================================ TRASFORMAZIONE DATI (Staging -> Core) ------------------------------\n Database target: C:\PYTHON\DataHub\db\temp.db \n============================== RISULTATI TRASFORMAZIONE (Staging -> Core) ============================== - Prodotti: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Emesso: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Diritti: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Cast: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Gemma: \u2705 SUCCESS - Trasformazione Gemma completata. - Boxoffice: \u2139\ufe0f SKIPPED - Dati Boxoffice gestiti nella fase Consolidate. - Veg: \u2139\ufe0f SKIPPED - Logica transform_veg sospesa/non applicabile qui. ------------------------------ \n\u2705 Trasformazione completata con successo per tutte le tabelle eseguite/applicabili. Tempo totale trasformazione: 9.40 secondi. ==============================\n ============================================================ : DataHub - Gestione CoreDB = : Data: 05/03/2026 12:31:59 = ============================================================ EXPORT DATABASE PRODUZIONE ------------------------------\n ====================================================================== EXPORT DATABASE PRODUZIONE (Build Local + Copy) ====================================================================== Inizio: 2026-03-05 12:31:59 Strategia: 1. Copia DB produzione dal server in locale (se esiste) 2. Export tabelle gestite su disco locale (veloce) 3. Ottimizzazione DB locale 4. Copia DB finale sul server (singola operazione) ====================================================================== Connessione database di lavoro: C:\PYTHON\DataHub\db\temp.db OK Connesso a database di lavoro ====================================================================== PREPARAZIONE DATABASE LOCALE ====================================================================== Copia DB produzione dal server in locale... Da: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db (2921.67 MB) A: C:\PYTHON\DataHub\db\DataHub_production_temp.db OK Copiato (2921.67 MB) Questo preserva eventuali tabelle extra non gestite Connessione database locale: C:\PYTHON\DataHub\db\DataHub_production_temp.db OK Connesso con ottimizzazioni per disco locale ====================================================================== ====================================================================== Tabelle da esportare: 9 Tabelle da saltare (staging): 11 ====================================================================== Tabelle ESCLUSE (staging): - stg_box_dettaglio - stg_boxoffice - stg_cast - stg_diritti - stg_emesso - stg_gemma - stg_imdb - stg_osservatorio - stg_prodotti - stg_scelte_rete - stg_veg ====================================================================== Inizio export tabelle... ====================================================================== [1/9] Exporting boxoffice... 50000/207355 (24%)... 100000/207355 (48%)... 150000/207355 (72%)... 200000/207355 (96%)... 207355/207355 (100%)...OK 207355 record [2/9] Exporting cast... 50000/1760244 (3%)... 100000/1760244 (6%)... 150000/1760244 (9%)... 200000/1760244 (11%)... 250000/1760244 (14%)... 300000/1760244 (17%)... 350000/1760244 (20%)... 400000/1760244 (23%)... 450000/1760244 (26%)... 500000/1760244 (28%)... 550000/1760244 (31%)... 600000/1760244 (34%)... 650000/1760244 (37%)... 700000/1760244 (40%)... 750000/1760244 (43%)... 800000/1760244 (45%)... 850000/1760244 (48%)... 900000/1760244 (51%)... 950000/1760244 (54%)... 1000000/1760244 (57%)... 1050000/1760244 (60%)... 1100000/1760244 (62%)... 1150000/1760244 (65%)... 1200000/1760244 (68%)... 1250000/1760244 (71%)... 1300000/1760244 (74%)... 1350000/1760244 (77%)... 1400000/1760244 (80%)... 1450000/1760244 (82%)... 1500000/1760244 (85%)... 1550000/1760244 (88%)... 1600000/1760244 (91%)... 1650000/1760244 (94%)... 1700000/1760244 (97%)... 1750000/1760244 (99%)... 1760244/1760244 (100%)...OK 1760244 record [3/9] Exporting diritti... OK 50998 record [4/9] Exporting diritti_windows... OK 3391 record [5/9] Exporting emesso... 50000/8669525 (1%)... 100000/8669525 (1%)... 150000/8669525 (2%)... 200000/8669525 (2%)... 250000/8669525 (3%)... 300000/8669525 (3%)... 350000/8669525 (4%)... 400000/8669525 (5%)... 450000/8669525 (5%)... 500000/8669525 (6%)... 550000/8669525 (6%)... 600000/8669525 (7%)... 650000/8669525 (7%)... 700000/8669525 (8%)... 750000/8669525 (9%)... 800000/8669525 (9%)... 850000/8669525 (10%)... 900000/8669525 (10%)... 950000/8669525 (11%)... 1000000/8669525 (12%)... 1050000/8669525 (12%)... 1100000/8669525 (13%)... 1150000/8669525 (13%)... 1200000/8669525 (14%)... 1250000/8669525 (14%)... 1300000/8669525 (15%)... 1350000/8669525 (16%)... 1400000/8669525 (16%)... 1450000/8669525 (17%)... 1500000/8669525 (17%)... 1550000/8669525 (18%)... 1600000/8669525 (18%)... 1650000/8669525 (19%)... 1700000/8669525 (20%)... 1750000/8669525 (20%)... 1800000/8669525 (21%)... 1850000/8669525 (21%)... 1900000/8669525 (22%)... 1950000/8669525 (22%)... 2000000/8669525 (23%)... 2050000/8669525 (24%)... 2100000/8669525 (24%)... 2150000/8669525 (25%)... 2200000/8669525 (25%)... 2250000/8669525 (26%)... 2300000/8669525 (27%)... 2350000/8669525 (27%)... 2400000/8669525 (28%)... 2450000/8669525 (28%)... 2500000/8669525 (29%)... 2550000/8669525 (29%)... 2600000/8669525 (30%)... 2650000/8669525 (31%)... 2700000/8669525 (31%)... 2750000/8669525 (32%)... 2800000/8669525 (32%)... 2850000/8669525 (33%)... 2900000/8669525 (33%)... 2950000/8669525 (34%)... 3000000/8669525 (35%)... 3050000/8669525 (35%)... 3100000/8669525 (36%)... 3150000/8669525 (36%)... 3200000/8669525 (37%)... 3250000/8669525 (37%)... 3300000/8669525 (38%)... 3350000/8669525 (39%)... 3400000/8669525 (39%)... 3450000/8669525 (40%)... 3500000/8669525 (40%)... 3550000/8669525 (41%)... 3600000/8669525 (42%)... 3650000/8669525 (42%)... 3700000/8669525 (43%)... 3750000/8669525 (43%)... 3800000/8669525 (44%)... 3850000/8669525 (44%)... 3900000/8669525 (45%)... 3950000/8669525 (46%)... 4000000/8669525 (46%)... 4050000/8669525 (47%)... 4100000/8669525 (47%)... 4150000/8669525 (48%)... 4200000/8669525 (48%)... 4250000/8669525 (49%)... 4300000/8669525 (50%)... 4350000/8669525 (50%)... 4400000/8669525 (51%)... 4450000/8669525 (51%)... 4500000/8669525 (52%)... 4550000/8669525 (52%)... 4600000/8669525 (53%)... 4650000/8669525 (54%)... 4700000/8669525 (54%)... 4750000/8669525 (55%)... 4800000/8669525 (55%)... 4850000/8669525 (56%)... 4900000/8669525 (57%)... 4950000/8669525 (57%)... 5000000/8669525 (58%)... 5050000/8669525 (58%)... 5100000/8669525 (59%)... 5150000/8669525 (59%)... 5200000/8669525 (60%)...