=== Job Execution Log === Job: DataHub Weekly Refresh Execution ID: 30 Start Time: 2025-12-10 16:03:58 Command: C:\PYTHON\DataHub\start_weekly_refresh_local.bat Working Directory: C:\PYTHON\DataHub ================================================== ============================================================================ DataHub - Weekly Refresh (Modalita Locale) ============================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risores\SOFTWARE\DataHub\DataHub.db ============================================================================ 2025-12-10 16:04:00 - data_ingestion_orchestrator - INFO - Inizializzazione schema database richiesta... 2025-12-10 16:04:00 - data_ingestion_orchestrator - INFO - Esecuzione comandi 'CREATE TABLE IF NOT EXISTS'... 2025-12-10 16:04:00 - data_ingestion_orchestrator - INFO - Creazione/Verifica indici... 2025-12-10 16:04:00 - data_ingestion_orchestrator - INFO - Schema database verificato/creato con successo. ============================================================ : DataHub - Gestione CoreDB = : Data: 10/12/2025 16:04:00 = ============================================================ INIZIALIZZAZIONE DATABASE ------------------------------\n Percorso database target: C:\PYTHON\DataHub\db\temp.db \n\u2705 Database inizializzato o già esistente con successo (incluse tabelle Staging, Core base, Reporting base). \n==============================\n 2025-12-10 16:04:01 - update_ref_data - INFO - Avvio aggiornamento tabelle di dati di riferimento... 2025-12-10 16:04:01 - update_ref_data - INFO - Lettura dati da: C:\PYTHON\DataHub\config\reti_cluster.csv 2025-12-10 16:04:01 - update_ref_data - INFO - Lette 34 righe valide dal CSV. 2025-12-10 16:04:01 - update_ref_data - INFO - Pulizia tabella 'reti_cluster' nel database... 2025-12-10 16:04:01 - update_ref_data - INFO - Inserimento nuovi dati in 'reti_cluster'... 2025-12-10 16:04:01 - update_ref_data - INFO - Aggiornamento tabella 'reti_cluster' completato con successo. Inserite 34 righe. 2025-12-10 16:04:01 - update_ref_data - INFO - Aggiornamento dati di riferimento completato in 0.03 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 10/12/2025 16:04:01 = ============================================================ AGGIORNAMENTO DATI DI RIFERIMENTO ------------------------------\n \n\u2705 Aggiornamento dati di riferimento completato con successo. \n==============================\n 2025-12-10 16:04:02 - data_ingestion_orchestrator - INFO - Avvio processo completo di DataIngestion orchestrato... 2025-12-10 16:04:02 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: PRODOTTI --- 2025-12-10 16:04:02 - prodotti_importer - INFO - Avvio importazione per 'stg_prodotti' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_prod.csv 2025-12-10 16:04:02 - prodotti_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 C:\PYTHON\DataHub\data_ingestion\base_importer.py:80: ParserWarning: Skipping line 10528: expected 25 fields, saw 27 Skipping line 15725: expected 25 fields, saw 26 Skipping line 123518: expected 25 fields, saw 27 df = pd.read_csv( 2025-12-10 16:04:13 - prodotti_importer - INFO - File letto: 223,445 righe. 2025-12-10 16:04:13 - prodotti_importer - INFO - Pulizia tabella di staging 'stg_prodotti'... 2025-12-10 16:04:13 - prodotti_importer - INFO - Pulizia completata. 2025-12-10 16:04:13 - prodotti_importer - INFO - Inserimento di 223,445 righe in 'stg_prodotti'... 2025-12-10 16:04:14 - prodotti_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-10 16:04:14 - data_ingestion_orchestrator - INFO - --- Fine importazione per: PRODOTTI --- 2025-12-10 16:04:14 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: EMESSO --- 2025-12-10 16:04:14 - emesso_importer - INFO - Avvio importazione per 'stg_emesso' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_emesso.csv 2025-12-10 16:04:14 - emesso_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 ================================================================================ DATAHUB - WEEKLY REFRESH ================================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db Data/Ora inizio: 2025-12-10 16:03:59 Totale step da eseguire: 8 ================================================================================ --- CANCELLAZIONE DATABASE ESISTENTE --- File database 'C:\PYTHON\DataHub\db\temp.db' eliminato con successo. ================================================================================ STEP 1/8: INIZIALIZZAZIONE DATABASE ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py init -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 1/8 COMPLETATO in 0m 1s: INIZIALIZZAZIONE DATABASE ================================================================================ ================================================================================ STEP 2/8: AGGIORNAMENTO DATI DI RIFERIMENTO (RETI, ECC.) ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py update-ref-data -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 2/8 COMPLETATO in 0m 0s: AGGIORNAMENTO DATI DI RIFERIMENTO (RETI, ECC.) ================================================================================ ================================================================================ STEP 3/8: IMPORTAZIONE DATI IN STAGING ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py import --all -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [ERRORE] STEP 3/8 FALLITO dopo 4m 24s: IMPORTAZIONE DATI IN STAGING Codice di errore: 15 ================================================================================ [ERRORE] PROCESSO INTERROTTO A CAUSA DI ERRORE. ================================================================================ PROCESSO WEEKLY REFRESH TERMINATO CON ERRORI Tempo totale di esecuzione: 4m 26s Data/Ora fine: 2025-12-10 16:08:25 ================================================================================ ============================================================================ Weekly Refresh completato - Avvio Daily Refresh... ============================================================================ ============================================================================ DataHub - Daily Incremental Refresh ============================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db ============================================================================ 2025-12-10 16:08:27 - data_ingestion_orchestrator - INFO - Avvio processo completo di DataIngestion orchestrato... 2025-12-10 16:08:27 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: GEMMA --- 2025-12-10 16:08:27 - gemma_importer - INFO - Avvio importazione per 'stg_gemma' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_gemma.csv 2025-12-10 16:08:27 - gemma_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=0 2025-12-10 16:08:33 - gemma_importer - INFO - File letto: 50,424 righe. 2025-12-10 16:08:33 - gemma_importer - INFO - Pulizia tabella di staging 'stg_gemma'... 2025-12-10 16:08:33 - gemma_importer - INFO - Pulizia completata. 2025-12-10 16:08:33 - gemma_importer - INFO - Inserimento di 50,424 righe in 'stg_gemma'... 2025-12-10 16:08:34 - gemma_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-10 16:08:34 - data_ingestion_orchestrator - INFO - --- Fine importazione per: GEMMA --- 2025-12-10 16:08:34 - data_ingestion_orchestrator - INFO - Processo completo di DataIngestion terminato in 6.98 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 10/12/2025 16:08:27 = ============================================================ IMPORTAZIONE DATI (Staging) ------------------------------\n Utilizzando percorso da server per gemma: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_gemma.csv \nAvvio processo di ingestione (Staging)... Processo di ingestione (Staging) terminato. \n============================== RISULTATI IMPORTAZIONE (Staging) ============================== \n\u2705 Gemma Staging: - Righe lette da CSV: 50,424 - Righe inserite staging: 50,424 \n------------------------------ Percorso database utilizzato: C:\PYTHON\DataHub\db\temp.db Controlla i file di log per maggiori dettagli. NOTA: I dati sono stati caricati nelle tabelle STAGING (stg_*). Eseguire il comando 'transform' per popolare le tabelle Core. ==============================\n 2025-12-10 16:08:35 - data_ingestion_orchestrator - INFO - Avvio processo completo di DataIngestion orchestrato... 2025-12-10 16:08:35 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: OSSERVATORIO --- 2025-12-10 16:08:35 - osservatorio_importer - INFO - Avvio importazione per 'stg_osservatorio' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\osservatorio.txt 2025-12-10 16:08:35 - osservatorio_importer - INFO - Lettura file senza header con: encoding='cp1252', delimitatore=';' C:\PYTHON\DataHub\data_ingestion\_osservatorio_importer.py:32: ParserWarning: Skipping line 4119: expected 26 fields, saw 27 df = pd.read_csv( 2025-12-10 16:08:44 - osservatorio_importer - INFO - File letto: 34,910 righe. 2025-12-10 16:08:44 - osservatorio_importer - INFO - Pulizia tabella di staging 'stg_osservatorio'... 2025-12-10 16:08:44 - osservatorio_importer - INFO - Pulizia completata. 2025-12-10 16:08:44 - osservatorio_importer - INFO - Inserimento di 34,910 righe in 'stg_osservatorio'... 2025-12-10 16:08:44 - osservatorio_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-10 16:08:44 - data_ingestion_orchestrator - INFO - --- Fine importazione per: OSSERVATORIO --- 2025-12-10 16:08:44 - data_ingestion_orchestrator - INFO - Processo completo di DataIngestion terminato in 8.99 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 10/12/2025 16:08:35 = ============================================================ IMPORTAZIONE DATI (Staging) ------------------------------\n Utilizzando percorso da server per osservatorio: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\osservatorio.txt \nAvvio processo di ingestione (Staging)... Processo di ingestione (Staging) terminato. \n============================== RISULTATI IMPORTAZIONE (Staging) ============================== \n\u2705 Osservatorio Staging: - Righe lette da CSV: 34,910 - Righe inserite staging: 34,910 \n------------------------------ Percorso database utilizzato: C:\PYTHON\DataHub\db\temp.db Controlla i file di log per maggiori dettagli. NOTA: I dati sono stati caricati nelle tabelle STAGING (stg_*). Eseguire il comando 'transform' per popolare le tabelle Core. ==============================\n 2025-12-10 16:08:45 - transform_process - INFO - Avvio processo di trasformazione da Staging a Core... 2025-12-10 16:08:45 - transform_process - INFO - Database target: C:\PYTHON\DataHub\db\temp.db 2025-12-10 16:08:45 - transform_process - INFO - --- Inizio Trasformazione Gemma --- 2025-12-10 16:08:45 - transform_process - INFO - Inizio trasformazione Gemma (stg_gemma -> gemma) 2025-12-10 16:08:45 - transform_process - INFO - Lettura dati da stg_gemma... 2025-12-10 16:08:46 - transform_process - INFO - Lette 50,424 righe da stg_gemma. 2025-12-10 16:08:46 - transform_process - INFO - Applicazione logica di trasformazione per i campi 'V_*'... 2025-12-10 16:08:46 - transform_process - INFO - Aggiornati 9093 record nella colonna 'V_C5' con '!'. 2025-12-10 16:08:46 - transform_process - INFO - Aggiornati 10514 record nella colonna 'V_I1' con '!'. 2025-12-10 16:08:46 - transform_process - INFO - Aggiornati 9280 record nella colonna 'V_R4' con '!'. 2025-12-10 16:08:46 - transform_process - INFO - Aggiornati 11623 record nella colonna 'V_LA5' con '!'. 2025-12-10 16:08:46 - transform_process - INFO - Aggiornati 12203 record nella colonna 'V_I2' con '!'. 2025-12-10 16:08:46 - transform_process - INFO - Aggiornati 11748 record nella colonna 'V_IRIS' con '!'. 2025-12-10 16:08:46 - transform_process - INFO - Aggiornati 12053 record nella colonna 'V_TOP' con '!'. 2025-12-10 16:08:46 - transform_process - INFO - Aggiornati 8733 record nella colonna 'V_FOC' con '!'. 2025-12-10 16:08:46 - transform_process - INFO - Aggiornati 11933 record nella colonna 'V_C20' con '!'. 2025-12-10 16:08:46 - transform_process - INFO - Aggiornati 12177 record nella colonna 'V_CI34' con '!'. 2025-12-10 16:08:46 - transform_process - INFO - Aggiornati 12230 record nella colonna 'V_C27' con '!'. 2025-12-10 16:08:47 - transform_process - INFO - Aggiornati 12116 record nella colonna 'V_CIN' con '!'. 2025-12-10 16:08:47 - transform_process - INFO - Aggiornati 11707 record nella colonna 'V_INF' con '!'. 2025-12-10 16:08:47 - transform_process - INFO - Aggiornati 12158 record nella colonna 'V_EMO' con '!'. 2025-12-10 16:08:47 - transform_process - INFO - Aggiornati 12166 record nella colonna 'V_ENE' con '!'. 2025-12-10 16:08:47 - transform_process - INFO - Aggiornati 12206 record nella colonna 'V_COM' con '!'. 2025-12-10 16:08:47 - transform_process - INFO - Aggiornati 12209 record nella colonna 'V_STO' con '!'. 2025-12-10 16:08:47 - transform_process - INFO - Aggiornati 12181 record nella colonna 'V_CRI' con '!'. 2025-12-10 16:08:47 - transform_process - INFO - Aggiornati 12210 record nella colonna 'V_ACT' con '!'. 2025-12-10 16:08:47 - transform_process - INFO - Logica di trasformazione completata. Totale campi aggiornati: 218,540. 2025-12-10 16:08:47 - transform_process - INFO - Pulizia e inserimento dati nella tabella 'gemma' Core... 2025-12-10 16:08:47 - transform_process - INFO - Calcolo hash MD5 per righe gemma... 2025-12-10 16:08:53 - transform_process - INFO - Hash MD5 calcolato per 50424 righe gemma. 2025-12-10 16:08:53 - transform_process - INFO - [Gemma] record pre-delete in 'gemma': 0 2025-12-10 16:08:53 - transform_process - INFO - Tabella 'gemma' Core pulita. Inizio inserimento di 50,424 righe. 2025-12-10 16:08:55 - transform_process - INFO - Inserite 50,424 righe nella tabella 'gemma' Core. 2025-12-10 16:08:55 - transform_process - INFO - Trasformazione Gemma completata in 9.74 secondi. Status: SUCCESS 2025-12-10 16:08:55 - transform_process - INFO - --- Fine Trasformazione Gemma (Status: SUCCESS) --- 2025-12-10 16:08:55 - transform_process - INFO - Processo di trasformazione terminato (blocco finally). Durata: 9.83 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 10/12/2025 16:08:45 = ============================================================ TRASFORMAZIONE DATI (Staging -> Core) ------------------------------\n Database target: C:\PYTHON\DataHub\db\temp.db \n============================== RISULTATI TRASFORMAZIONE (Staging -> Core) ============================== - Prodotti: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Emesso: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Diritti: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Cast: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Gemma: \u2705 SUCCESS - Trasformazione Gemma completata. - Boxoffice: \u2139\ufe0f SKIPPED - Dati Boxoffice gestiti nella fase Consolidate. - Veg: \u2139\ufe0f SKIPPED - Logica transform_veg sospesa/non applicabile qui. ------------------------------ \n\u2705 Trasformazione completata con successo per tutte le tabelle eseguite/applicabili. Tempo totale trasformazione: 9.83 secondi. ==============================\n Traceback (most recent call last): File "C:\PYTHON\DataHub\project_utils\export_production_db.py", line 555, in run print(f" - {source} \u2192 {target}") ~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\Lib\encodings\cp1252.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] ~~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ UnicodeEncodeError: 'charmap' codec can't encode character '\u2192' in position 21: character maps to ============================================================ : DataHub - Gestione CoreDB = : Data: 10/12/2025 16:08:56 = ============================================================ EXPORT DATABASE PRODUZIONE ------------------------------\n ====================================================================== EXPORT INCREMENTALE DAILY (Direct Update) ====================================================================== Inizio: 2025-12-10 16:08:56 Tabelle da aggiornare: - gemma ERRORE FATALE: 'charmap' codec can't encode character '\u2192' in position 21: character maps to \n\u274c Export database produzione fallito. Controllare i log sopra. ================================================================================ DATAHUB - DAILY REFRESH ================================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db Data/Ora inizio: 2025-12-10 16:08:26 Totale step da eseguire: 4 ================================================================================ ================================================================================ STEP 1/4: IMPORTAZIONE DATI GIORNALIERI (GEMMA) ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py import --gemma -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 1/4 COMPLETATO in 0m 8s: IMPORTAZIONE DATI GIORNALIERI (GEMMA) ================================================================================ ================================================================================ STEP 2/4: IMPORTAZIONE DATI GIORNALIERI (OSSERVATORIO) ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py import --osservatorio -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 2/4 COMPLETATO in 0m 9s: IMPORTAZIONE DATI GIORNALIERI (OSSERVATORIO) ================================================================================ ================================================================================ STEP 3/4: TRASFORMAZIONE DATI GIORNALIERI (GEMMA) ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py transform --gemma -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 3/4 COMPLETATO in 0m 10s: TRASFORMAZIONE DATI GIORNALIERI (GEMMA) ================================================================================ ================================================================================ STEP 4/4: EXPORT INCREMENTALE DATABASE PRODUZIONE ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py export-daily -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [ERRORE] STEP 4/4 FALLITO dopo 0m 0s: EXPORT INCREMENTALE DATABASE PRODUZIONE Codice di errore: 1 ================================================================================ [ERRORE] PROCESSO INTERROTTO A CAUSA DI ERRORE. ================================================================================ PROCESSO DAILY REFRESH TERMINATO CON ERRORI Tempo totale di esecuzione: 0m 30s Data/Ora fine: 2025-12-10 16:08:56 ================================================================================ ============================================================================ Daily Refresh terminato - Premere un tasto per chiudere la finestra ============================================================================