=== Job Execution Log === Job: DataHub Daily Refresh Execution ID: 132 Start Time: 2026-02-18 12:30:00 Command: C:\PYTHON\DataHub\start_daily_refresh.bat Working Directory: C:\PYTHON\DataHub ================================================== ============================================================================ DataHub - Daily Incremental Refresh ============================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db ============================================================================ 2026-02-18 12:30:02 - data_ingestion_orchestrator - INFO - Avvio processo completo di DataIngestion orchestrato... 2026-02-18 12:30:02 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: GEMMA --- 2026-02-18 12:30:02 - gemma_importer - INFO - Avvio importazione per 'stg_gemma' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_gemma.csv 2026-02-18 12:30:02 - gemma_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=0 2026-02-18 12:30:05 - gemma_importer - INFO - File letto: 50,917 righe. 2026-02-18 12:30:05 - gemma_importer - INFO - Pulizia tabella di staging 'stg_gemma'... 2026-02-18 12:30:05 - gemma_importer - INFO - Pulizia completata. 2026-02-18 12:30:05 - gemma_importer - INFO - Inserimento di 50,917 righe in 'stg_gemma'... 2026-02-18 12:30:07 - gemma_importer - INFO - Inserimento dati in staging completato con successo. 2026-02-18 12:30:07 - data_ingestion_orchestrator - INFO - --- Fine importazione per: GEMMA --- 2026-02-18 12:30:07 - data_ingestion_orchestrator - INFO - Processo completo di DataIngestion terminato in 4.89 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 18/02/2026 12:30:02 = ============================================================ IMPORTAZIONE DATI (Staging) ------------------------------\n Utilizzando percorso da server per gemma: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_gemma.csv \nAvvio processo di ingestione (Staging)... Processo di ingestione (Staging) terminato. \n============================== RISULTATI IMPORTAZIONE (Staging) ============================== \n\u2705 Gemma Staging: - Righe lette da CSV: 50,917 - Righe inserite staging: 50,917 \n------------------------------ Percorso database utilizzato: C:\PYTHON\DataHub\db\temp.db Controlla i file di log per maggiori dettagli. NOTA: I dati sono stati caricati nelle tabelle STAGING (stg_*). Eseguire il comando 'transform' per popolare le tabelle Core. ==============================\n 2026-02-18 12:30:08 - data_ingestion_orchestrator - INFO - Avvio processo completo di DataIngestion orchestrato... 2026-02-18 12:30:08 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: OSSERVATORIO --- 2026-02-18 12:30:08 - osservatorio_importer - INFO - Avvio importazione per 'stg_osservatorio' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\osservatorio.txt 2026-02-18 12:30:08 - osservatorio_importer - INFO - Lettura file senza header con: encoding='cp1252', delimitatore=';' C:\PYTHON\DataHub\data_ingestion\_osservatorio_importer.py:32: ParserWarning: Skipping line 4118: expected 26 fields, saw 27 df = pd.read_csv( 2026-02-18 12:30:11 - osservatorio_importer - INFO - File letto: 35,155 righe. 2026-02-18 12:30:11 - osservatorio_importer - INFO - Pulizia tabella di staging 'stg_osservatorio'... 2026-02-18 12:30:12 - osservatorio_importer - INFO - Pulizia completata. 2026-02-18 12:30:12 - osservatorio_importer - INFO - Inserimento di 35,155 righe in 'stg_osservatorio'... 2026-02-18 12:30:12 - osservatorio_importer - INFO - Inserimento dati in staging completato con successo. 2026-02-18 12:30:12 - data_ingestion_orchestrator - INFO - --- Fine importazione per: OSSERVATORIO --- 2026-02-18 12:30:12 - data_ingestion_orchestrator - INFO - Processo completo di DataIngestion terminato in 4.56 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 18/02/2026 12:30:08 = ============================================================ IMPORTAZIONE DATI (Staging) ------------------------------\n Utilizzando percorso da server per osservatorio: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\osservatorio.txt \nAvvio processo di ingestione (Staging)... Processo di ingestione (Staging) terminato. \n============================== RISULTATI IMPORTAZIONE (Staging) ============================== \n\u2705 Osservatorio Staging: - Righe lette da CSV: 35,155 - Righe inserite staging: 35,155 \n------------------------------ Percorso database utilizzato: C:\PYTHON\DataHub\db\temp.db Controlla i file di log per maggiori dettagli. NOTA: I dati sono stati caricati nelle tabelle STAGING (stg_*). Eseguire il comando 'transform' per popolare le tabelle Core. ==============================\n 2026-02-18 12:30:13 - transform_process - INFO - Avvio processo di trasformazione da Staging a Core... 2026-02-18 12:30:13 - transform_process - INFO - Database target: C:\PYTHON\DataHub\db\temp.db 2026-02-18 12:30:13 - transform_process - INFO - --- Inizio Trasformazione Gemma --- 2026-02-18 12:30:13 - transform_process - INFO - Inizio trasformazione Gemma (stg_gemma -> gemma) 2026-02-18 12:30:13 - transform_process - INFO - Lettura dati da stg_gemma... 2026-02-18 12:30:14 - transform_process - INFO - Lette 50,917 righe da stg_gemma. 2026-02-18 12:30:14 - transform_process - INFO - Applicazione logica di trasformazione per i campi 'V_*'... 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 9256 record nella colonna 'V_C5' con '!'. 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 10706 record nella colonna 'V_I1' con '!'. 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 9500 record nella colonna 'V_R4' con '!'. 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 11828 record nella colonna 'V_LA5' con '!'. 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 12424 record nella colonna 'V_I2' con '!'. 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 11944 record nella colonna 'V_IRIS' con '!'. 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 12280 record nella colonna 'V_TOP' con '!'. 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 8854 record nella colonna 'V_FOC' con '!'. 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 12153 record nella colonna 'V_C20' con '!'. 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 12394 record nella colonna 'V_CI34' con '!'. 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 12450 record nella colonna 'V_C27' con '!'. 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 12337 record nella colonna 'V_CIN' con '!'. 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 11921 record nella colonna 'V_INF' con '!'. 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 12379 record nella colonna 'V_EMO' con '!'. 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 12387 record nella colonna 'V_ENE' con '!'. 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 12427 record nella colonna 'V_COM' con '!'. 2026-02-18 12:30:14 - transform_process - INFO - Aggiornati 12430 record nella colonna 'V_STO' con '!'. 2026-02-18 12:30:15 - transform_process - INFO - Aggiornati 12402 record nella colonna 'V_CRI' con '!'. 2026-02-18 12:30:15 - transform_process - INFO - Aggiornati 12431 record nella colonna 'V_ACT' con '!'. 2026-02-18 12:30:15 - transform_process - INFO - Logica di trasformazione completata. Totale campi aggiornati: 222,503. 2026-02-18 12:30:15 - transform_process - INFO - Pulizia e inserimento dati nella tabella 'gemma' Core... 2026-02-18 12:30:15 - transform_process - INFO - Calcolo hash MD5 per righe gemma... 2026-02-18 12:30:20 - transform_process - INFO - Hash MD5 calcolato per 50917 righe gemma. 2026-02-18 12:30:20 - transform_process - INFO - [Gemma] record pre-delete in 'gemma': 50832 2026-02-18 12:30:21 - transform_process - INFO - Tabella 'gemma' Core pulita. Inizio inserimento di 50,917 righe. 2026-02-18 12:30:22 - transform_process - INFO - Inserite 50,917 righe nella tabella 'gemma' Core. 2026-02-18 12:30:22 - transform_process - INFO - Trasformazione Gemma completata in 9.35 secondi. Status: SUCCESS 2026-02-18 12:30:22 - transform_process - INFO - --- Fine Trasformazione Gemma (Status: SUCCESS) --- 2026-02-18 12:30:22 - transform_process - INFO - Processo di trasformazione terminato (blocco finally). Durata: 9.40 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 18/02/2026 12:30:13 = ============================================================ TRASFORMAZIONE DATI (Staging -> Core) ------------------------------\n Database target: C:\PYTHON\DataHub\db\temp.db \n============================== RISULTATI TRASFORMAZIONE (Staging -> Core) ============================== - Prodotti: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Emesso: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Diritti: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Cast: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Gemma: \u2705 SUCCESS - Trasformazione Gemma completata. - Boxoffice: \u2139\ufe0f SKIPPED - Dati Boxoffice gestiti nella fase Consolidate. - Veg: \u2139\ufe0f SKIPPED - Logica transform_veg sospesa/non applicabile qui. ------------------------------ \n\u2705 Trasformazione completata con successo per tutte le tabelle eseguite/applicabili. Tempo totale trasformazione: 9.40 secondi. ==============================\n ============================================================ : DataHub - Gestione CoreDB = : Data: 18/02/2026 12:30:23 = ============================================================ EXPORT DATABASE PRODUZIONE ------------------------------\n ====================================================================== EXPORT INCREMENTALE DAILY (Direct Update) ====================================================================== Inizio: 2026-02-18 12:30:23 Tabelle da aggiornare: - gemma - stg_osservatorio -> osservatorio Strategia: Connessione diretta al DB produzione ====================================================================== Connessione database di lavoro: C:\PYTHON\DataHub\db\temp.db OK Connesso a database di lavoro Connessione database produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db OK Connesso a database produzione ====================================================================== Aggiornamento tabelle... ====================================================================== [1/2] Aggiornamento gemma... ERRORE: database disk image is malformed [2/2] Aggiornamento stg_osservatorio->osservatorio... ERRORE: database disk image is malformed ====================================================================== SOMMARIO EXPORT INCREMENTALE ====================================================================== Database Produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db Size: 1024.00 MB Tabelle: Aggiornate: 0 Fallite: 2 Strategia: Direct Update - Connessione diretta al DB produzione - Aggiornamento solo tabelle daily (gemma, osservatorio) - Mantiene intatte tutte le altre tabelle ====================================================================== Completato in 0m 0s (0.4 secondi) Fine: 2026-02-18 12:30:24 \n\u274c Export database produzione fallito. Controllare i log sopra. ================================================================================ DATAHUB - DAILY REFRESH ================================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db Data/Ora inizio: 2026-02-18 12:30:00 Totale step da eseguire: 4 ================================================================================ ================================================================================ STEP 1/4: IMPORTAZIONE DATI GIORNALIERI (GEMMA) ================================================================================ Comando: C:\PYTHON\DataHub\venv\Scripts\python.exe C:\PYTHON\DataHub\main.py import --gemma -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 1/4 COMPLETATO in 0m 6s: IMPORTAZIONE DATI GIORNALIERI (GEMMA) ================================================================================ ================================================================================ STEP 2/4: IMPORTAZIONE DATI GIORNALIERI (OSSERVATORIO) ================================================================================ Comando: C:\PYTHON\DataHub\venv\Scripts\python.exe C:\PYTHON\DataHub\main.py import --osservatorio -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 2/4 COMPLETATO in 0m 5s: IMPORTAZIONE DATI GIORNALIERI (OSSERVATORIO) ================================================================================ ================================================================================ STEP 3/4: TRASFORMAZIONE DATI GIORNALIERI (GEMMA) ================================================================================ Comando: C:\PYTHON\DataHub\venv\Scripts\python.exe C:\PYTHON\DataHub\main.py transform --gemma -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 3/4 COMPLETATO in 0m 10s: TRASFORMAZIONE DATI GIORNALIERI (GEMMA) ================================================================================ ================================================================================ STEP 4/4: EXPORT INCREMENTALE DATABASE PRODUZIONE ================================================================================ Comando: C:\PYTHON\DataHub\venv\Scripts\python.exe C:\PYTHON\DataHub\main.py export-daily -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [ERRORE] STEP 4/4 FALLITO dopo 0m 1s: EXPORT INCREMENTALE DATABASE PRODUZIONE Codice di errore: 1 ================================================================================ [ERRORE] PROCESSO INTERROTTO A CAUSA DI ERRORE. ================================================================================ PROCESSO DAILY REFRESH TERMINATO CON ERRORI Tempo totale di esecuzione: 0m 24s Data/Ora fine: 2026-02-18 12:30:24 ================================================================================ ============================================================================ Daily Refresh terminato ============================================================================