=== Job Execution Log === Job: DataHub Weekly Refresh Execution ID: 226 Start Time: 2026-02-24 13:30:00 Command: C:\PYTHON\DataHub\start_weekly_refresh_local.bat Working Directory: C:\PYTHON\DataHub ================================================== NOTE: Output displayed in console window (debug mode) Log file not captured - see console window for output ============================================================================ DataHub - Weekly Refresh (Modalita Locale) ============================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risores\SOFTWARE\DataHub\DataHub.db ============================================================================ 2026-02-24 13:30:01 - data_ingestion_orchestrator - INFO - Inizializzazione schema database richiesta... 2026-02-24 13:30:01 - data_ingestion_orchestrator - INFO - Esecuzione comandi 'CREATE TABLE IF NOT EXISTS'... 2026-02-24 13:30:01 - data_ingestion_orchestrator - INFO - Creazione/Verifica indici... 2026-02-24 13:30:02 - data_ingestion_orchestrator - INFO - Schema database verificato/creato con successo. ============================================================ : DataHub - Gestione CoreDB = : Data: 24/02/2026 13:30:01 = ============================================================ INIZIALIZZAZIONE DATABASE ------------------------------\n Percorso database target: C:\PYTHON\DataHub\db\temp.db \n\u2705 Database inizializzato o gią esistente con successo (incluse tabelle Staging, Core base, Reporting base). \n==============================\n 2026-02-24 13:30:03 - update_ref_data - INFO - Avvio aggiornamento tabelle di dati di riferimento... 2026-02-24 13:30:03 - update_ref_data - INFO - Lettura dati da: C:\PYTHON\DataHub\config\reti_cluster.csv 2026-02-24 13:30:03 - update_ref_data - INFO - Lette 34 righe valide dal CSV. 2026-02-24 13:30:03 - update_ref_data - INFO - Pulizia tabella 'reti_cluster' nel database... 2026-02-24 13:30:03 - update_ref_data - INFO - Inserimento nuovi dati in 'reti_cluster'... 2026-02-24 13:30:03 - update_ref_data - INFO - Aggiornamento tabella 'reti_cluster' completato con successo. Inserite 34 righe. 2026-02-24 13:30:03 - update_ref_data - INFO - Aggiornamento dati di riferimento completato in 0.04 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 24/02/2026 13:30:03 = ============================================================ AGGIORNAMENTO DATI DI RIFERIMENTO ------------------------------\n \n\u2705 Aggiornamento dati di riferimento completato con successo. \n==============================\n 2026-02-24 13:30:04 - data_ingestion_orchestrator - INFO - Avvio processo completo di DataIngestion orchestrato... 2026-02-24 13:30:04 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: PRODOTTI --- 2026-02-24 13:30:04 - prodotti_importer - INFO - Avvio importazione per 'stg_prodotti' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_prod.csv 2026-02-24 13:30:04 - prodotti_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 C:\PYTHON\DataHub\data_ingestion\base_importer.py:80: ParserWarning: Skipping line 10563: expected 25 fields, saw 27 Skipping line 15799: expected 25 fields, saw 26 Skipping line 124122: expected 25 fields, saw 27 df = pd.read_csv( 2026-02-24 13:30:06 - prodotti_importer - INFO - File letto: 224,497 righe. 2026-02-24 13:30:06 - prodotti_importer - INFO - Pulizia tabella di staging 'stg_prodotti'... 2026-02-24 13:30:06 - prodotti_importer - INFO - Pulizia completata. 2026-02-24 13:30:06 - prodotti_importer - INFO - Inserimento di 224,497 righe in 'stg_prodotti'... 2026-02-24 13:30:09 - prodotti_importer - INFO - Inserimento dati in staging completato con successo. 2026-02-24 13:30:09 - data_ingestion_orchestrator - INFO - --- Fine importazione per: PRODOTTI --- 2026-02-24 13:30:09 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: EMESSO --- 2026-02-24 13:30:09 - emesso_importer - INFO - Avvio importazione per 'stg_emesso' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_emesso.csv 2026-02-24 13:30:09 - emesso_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 2026-02-24 13:30:09 - emesso_importer - ERROR - Errore critico durante importazione per stg_emesso: [Errno 13] Permission denied: '\\\\mediaset.it\\share\\Indirizzo_controllo_risorse\\SOFTWARE\\SCHEDULATORE\\INPUT\\estr_emesso.csv' Traceback (most recent call last): File "C:\PYTHON\DataHub\data_ingestion\base_importer.py", line 48, in run df = self._read_csv(filepath, kwargs.get('delimiter'), kwargs.get('encoding')) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\PYTHON\DataHub\data_ingestion\base_importer.py", line 80, in _read_csv df = pd.read_csv( ^^^^^^^^^^^^ File "C:\PYTHON\DataHub\venv\Lib\site-packages\pandas\io\parsers\readers.py", line 1026, in read_csv return _read(filepath_or_buffer, kwds) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\PYTHON\DataHub\venv\Lib\site-packages\pandas\io\parsers\readers.py", line 620, in _read parser = TextFileReader(filepath_or_buffer, **kwds) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\PYTHON\DataHub\venv\Lib\site-packages\pandas\io\parsers\readers.py", line 1620, in __init__ self._engine = self._make_engine(f, self.engine) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\PYTHON\DataHub\venv\Lib\site-packages\pandas\io\parsers\readers.py", line 1880, in _make_engine self.handles = get_handle( ^^^^^^^^^^^ File "C:\PYTHON\DataHub\venv\Lib\site-packages\pandas\io\common.py", line 873, in get_handle handle = open( ^^^^^ PermissionError: [Errno 13] Permission denied: '\\\\mediaset.it\\share\\Indirizzo_controllo_risorse\\SOFTWARE\\SCHEDULATORE\\INPUT\\estr_emesso.csv' 2026-02-24 13:30:09 - data_ingestion_orchestrator - INFO - --- Fine importazione per: EMESSO --- 2026-02-24 13:30:09 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: DIRITTI --- 2026-02-24 13:30:09 - diritti_importer - INFO - Avvio importazione per 'stg_diritti' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_acq.csv 2026-02-24 13:30:09 - diritti_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 2026-02-24 13:30:18 - diritti_importer - INFO - File letto: 271,332 righe. 2026-02-24 13:30:18 - diritti_importer - INFO - Pulizia tabella di staging 'stg_diritti'... 2026-02-24 13:30:18 - diritti_importer - INFO - Pulizia completata. 2026-02-24 13:30:18 - diritti_importer - INFO - Inserimento di 271,332 righe in 'stg_diritti'... 2026-02-24 13:30:34 - diritti_importer - INFO - Inserimento dati in staging completato con successo. 2026-02-24 13:30:35 - data_ingestion_orchestrator - INFO - --- Fine importazione per: DIRITTI --- 2026-02-24 13:30:35 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: IMDB --- 2026-02-24 13:30:35 - imdb_importer - INFO - Avvio importazione per 'stg_imdb' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_imdb.csv 2026-02-24 13:30:35 - imdb_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 C:\PYTHON\DataHub\data_ingestion\base_importer.py:80: ParserWarning: Skipping line 32738: expected 5 fields, saw 6 Skipping line 104704: expected 5 fields, saw 6 df = pd.read_csv( 2026-02-24 13:30:35 - imdb_importer - INFO - File letto: 109,707 righe. 2026-02-24 13:30:35 - imdb_importer - INFO - Pulizia tabella di staging 'stg_imdb'... 2026-02-24 13:30:35 - imdb_importer - INFO - Pulizia completata. 2026-02-24 13:30:35 - imdb_importer - INFO - Inserimento di 109,707 righe in 'stg_imdb'... 2026-02-24 13:30:36 - imdb_importer - INFO - Inserimento dati in staging completato con successo. 2026-02-24 13:30:36 - data_ingestion_orchestrator - INFO - --- Fine importazione per: IMDB --- 2026-02-24 13:30:36 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: BOXOFFICE --- 2026-02-24 13:30:36 - boxoffice_importer - INFO - Avvio importazione per 'stg_boxoffice' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_box_totali.csv 2026-02-24 13:30:36 - boxoffice_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 2026-02-24 13:30:37 - boxoffice_importer - INFO - File letto: 238,533 righe. 2026-02-24 13:30:37 - boxoffice_importer - INFO - Pulizia tabella di staging 'stg_boxoffice'... 2026-02-24 13:30:37 - boxoffice_importer - INFO - Pulizia completata. 2026-02-24 13:30:37 - boxoffice_importer - INFO - Inserimento di 238,533 righe in 'stg_boxoffice'... 2026-02-24 13:30:40 - boxoffice_importer - INFO - Inserimento dati in staging completato con successo. 2026-02-24 13:30:40 - data_ingestion_orchestrator - INFO - --- Fine importazione per: BOXOFFICE --- 2026-02-24 13:30:40 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: CAST --- 2026-02-24 13:30:40 - cast_importer - INFO - Avvio importazione per 'stg_cast' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_cast.csv 2026-02-24 13:30:40 - cast_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 C:\PYTHON\DataHub\data_ingestion\base_importer.py:80: ParserWarning: Skipping line 773207: expected 8 fields, saw 9 Skipping line 993431: expected 8 fields, saw 9 Skipping line 1229727: expected 8 fields, saw 9 Skipping line 1450363: expected 8 fields, saw 9 Skipping line 1654271: expected 8 fields, saw 9 Skipping line 1661421: expected 8 fields, saw 9 Skipping line 1666506: expected 8 fields, saw 9 df = pd.read_csv( 2026-02-24 13:30:46 - cast_importer - INFO - File letto: 1,758,742 righe. 2026-02-24 13:30:46 - cast_importer - INFO - Pulizia tabella di staging 'stg_cast'... 2026-02-24 13:30:46 - cast_importer - INFO - Pulizia completata. 2026-02-24 13:30:46 - cast_importer - INFO - Inserimento di 1,758,742 righe in 'stg_cast'... 2026-02-24 13:30:59 - cast_importer - INFO - Inserimento dati in staging completato con successo. 2026-02-24 13:30:59 - data_ingestion_orchestrator - INFO - --- Fine importazione per: CAST --- 2026-02-24 13:30:59 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: VEG --- 2026-02-24 13:30:59 - veg_importer - INFO - Avvio importazione per 'stg_veg' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_veg.csv 2026-02-24 13:30:59 - veg_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 2026-02-24 13:31:00 - veg_importer - INFO - File letto: 195,439 righe. 2026-02-24 13:31:00 - veg_importer - INFO - Pulizia tabella di staging 'stg_veg'... 2026-02-24 13:31:00 - veg_importer - INFO - Pulizia completata. 2026-02-24 13:31:00 - veg_importer - INFO - Inserimento di 195,439 righe in 'stg_veg'... 2026-02-24 13:31:00 - veg_importer - INFO - Inserimento dati in staging completato con successo. 2026-02-24 13:31:01 - data_ingestion_orchestrator - INFO - --- Fine importazione per: VEG --- 2026-02-24 13:31:01 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: SCELTE_RETE --- 2026-02-24 13:31:01 - scelte_rete_importer - INFO - Avvio importazione per 'stg_scelte_rete' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_scelte_rete.csv 2026-02-24 13:31:01 - scelte_rete_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 2026-02-24 13:31:02 - scelte_rete_importer - INFO - File letto: 417,034 righe. 2026-02-24 13:31:02 - scelte_rete_importer - INFO - Pulizia tabella di staging 'stg_scelte_rete'... 2026-02-24 13:31:02 - scelte_rete_importer - INFO - Pulizia completata. 2026-02-24 13:31:02 - scelte_rete_importer - INFO - Inserimento di 417,034 righe in 'stg_scelte_rete'... 2026-02-24 13:31:03 - scelte_rete_importer - INFO - Inserimento dati in staging completato con successo. 2026-02-24 13:31:03 - data_ingestion_orchestrator - INFO - --- Fine importazione per: SCELTE_RETE --- 2026-02-24 13:31:03 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: BOX_DETTAGLIO --- 2026-02-24 13:31:03 - box_dettaglio_importer - INFO - Avvio importazione per 'stg_box_dettaglio' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_box_dettaglio.csv 2026-02-24 13:31:03 - box_dettaglio_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 2026-02-24 13:31:07 - box_dettaglio_importer - INFO - File letto: 983,379 righe. 2026-02-24 13:31:07 - box_dettaglio_importer - INFO - Pulizia tabella di staging 'stg_box_dettaglio'... 2026-02-24 13:31:07 - box_dettaglio_importer - INFO - Pulizia completata. 2026-02-24 13:31:07 - box_dettaglio_importer - INFO - Inserimento di 983,379 righe in 'stg_box_dettaglio'... 2026-02-24 13:31:10 - box_dettaglio_importer - INFO - Inserimento dati in staging completato con successo. 2026-02-24 13:31:10 - data_ingestion_orchestrator - INFO - --- Fine importazione per: BOX_DETTAGLIO --- 2026-02-24 13:31:10 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: GEMMA --- 2026-02-24 13:31:10 - gemma_importer - INFO - Avvio importazione per 'stg_gemma' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_gemma.csv 2026-02-24 13:31:10 - gemma_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=0 2026-02-24 13:31:12 - gemma_importer - INFO - File letto: 50,989 righe. 2026-02-24 13:31:12 - gemma_importer - INFO - Pulizia tabella di staging 'stg_gemma'... 2026-02-24 13:31:12 - gemma_importer - INFO - Pulizia completata. 2026-02-24 13:31:12 - gemma_importer - INFO - Inserimento di 50,989 righe in 'stg_gemma'... 2026-02-24 13:31:14 - gemma_importer - INFO - Inserimento dati in staging completato con successo. 2026-02-24 13:31:14 - data_ingestion_orchestrator - INFO - --- Fine importazione per: GEMMA --- 2026-02-24 13:31:14 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: OSSERVATORIO --- 2026-02-24 13:31:14 - osservatorio_importer - INFO - Avvio importazione per 'stg_osservatorio' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\osservatorio.txt 2026-02-24 13:31:14 - osservatorio_importer - INFO - Lettura file senza header con: encoding='cp1252', delimitatore=';' C:\PYTHON\DataHub\data_ingestion\_osservatorio_importer.py:32: ParserWarning: Skipping line 4118: expected 26 fields, saw 27 df = pd.read_csv( 2026-02-24 13:31:15 - osservatorio_importer - INFO - File letto: 35,178 righe. 2026-02-24 13:31:15 - osservatorio_importer - INFO - Pulizia tabella di staging 'stg_osservatorio'... 2026-02-24 13:31:15 - osservatorio_importer - INFO - Pulizia completata. 2026-02-24 13:31:15 - osservatorio_importer - INFO - Inserimento di 35,178 righe in 'stg_osservatorio'... 2026-02-24 13:31:16 - osservatorio_importer - INFO - Inserimento dati in staging completato con successo. 2026-02-24 13:31:16 - data_ingestion_orchestrator - INFO - --- Fine importazione per: OSSERVATORIO --- 2026-02-24 13:31:16 - data_ingestion_orchestrator - INFO - Processo completo di DataIngestion terminato in 72.04 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 24/02/2026 13:30:04 = ============================================================ IMPORTAZIONE DATI (Staging) ------------------------------\n Utilizzando percorso da server per prodotti: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_prod.csv Utilizzando percorso da server per emesso: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_emesso.csv Utilizzando percorso da server per diritti: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_acq.csv Utilizzando percorso da server per imdb: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_imdb.csv Utilizzando percorso da server per boxoffice: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_box_totali.csv Utilizzando percorso da server per cast: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_cast.csv Utilizzando percorso da server per veg: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_veg.csv Utilizzando percorso da server per scelte_rete: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_scelte_rete.csv Utilizzando percorso da server per box_dettaglio: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_box_dettaglio.csv Utilizzando percorso da server per gemma: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_gemma.csv Utilizzando percorso da server per osservatorio: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\osservatorio.txt Utilizzando filtro reti predefinito: 7D, B5, B6, BP, C5, CL, CM, DD, DE, DG, FH, FI, FT, FU, GI, I1, I2, KA, KB, KI, KQ, LA, LB, LT, MC, N1, N2, N3, N4, NM, NP, R4, TS, WB \nAvvio processo di ingestione (Staging)... Processo di ingestione (Staging) terminato. \n============================== RISULTATI IMPORTAZIONE (Staging) ============================== \n\u2705 Prodotti Staging: - Righe lette da CSV: 224,497 - Righe inserite staging: 224,497 \n\u274c Emesso Staging: Errore durante importazione. Dettagli: [Errno 13] Permission denied: '\\\\mediaset.it\\share\\Indirizzo_controllo_risorse\\SOFTWARE\\SCHEDULATORE\\INPUT\\estr_emesso.csv' \n\u2705 Diritti Staging: - Righe lette da CSV: 271,332 - Righe inserite staging: 271,332 \n\u2705 Imdb Staging: - Righe lette da CSV: 109,707 - Righe inserite staging: 109,707 \n\u2705 Boxoffice Staging: - Righe lette da CSV: 238,533 - Righe inserite staging: 238,533 \n\u2705 Cast Staging: - Righe lette da CSV: 1,758,742 - Righe inserite staging: 1,758,742 \n\u2705 Veg Staging: - Righe lette da CSV: 195,439 - Righe inserite staging: 195,439 \n\u2705 Scelte_rete Staging: - Righe lette da CSV: 417,034 - Righe inserite staging: 417,034 \n\u2705 Box_dettaglio Staging: - Righe lette da CSV: 983,379 - Righe inserite staging: 983,379 \n\u2705 Gemma Staging: - Righe lette da CSV: 50,989 - Righe inserite staging: 50,989 \n\u2705 Osservatorio Staging: - Righe lette da CSV: 35,178 - Righe inserite staging: 35,178 \n------------------------------ Percorso database utilizzato: C:\PYTHON\DataHub\db\temp.db Controlla i file di log per maggiori dettagli. NOTA: I dati sono stati caricati nelle tabelle STAGING (stg_*). Eseguire il comando 'transform' per popolare le tabelle Core. ==============================\n 2026-02-24 13:31:17 - transform_process - INFO - Avvio processo di trasformazione da Staging a Core... 2026-02-24 13:31:17 - transform_process - INFO - Database target: C:\PYTHON\DataHub\db\temp.db 2026-02-24 13:31:17 - transform_process - INFO - --- Inizio Trasformazione Prodotti --- 2026-02-24 13:31:17 - transform_process - INFO - Inizio trasformazione Prodotti (stg_prodotti -> prodotti) 2026-02-24 13:31:17 - transform_process - INFO - Lettura dati da stg_prodotti... 2026-02-24 13:31:20 - transform_process - INFO - Lette 224497 righe da stg_prodotti. 2026-02-24 13:31:20 - transform_process - INFO - Applicazione DataQualityGate Prodotti... 2026-02-24 13:31:26 - prodotti_dqg_transform - WARNING - AVVISO DQG Prodotti: Trovati 9 record con anno di produzione nel futuro (basato su colonna 'anno_produzione'). Saranno impostati a NULL. 2026-02-24 13:31:26 - prodotti_dqg_transform - WARNING - AVVISO: Rimosse 7 righe con chiavi primarie nulle 2026-02-24 13:31:26 - prodotti_dqg_transform - INFO - Report di qualitą salvato in: C:\PYTHON\DataHub\logs\quality_report_prodotti_20260224_133126.txt 2026-02-24 13:31:26 - transform_process - INFO - DQG Prodotti completato: 224490 righe valide rimanenti. 2026-02-24 13:31:27 - transform_process - INFO - Calcolo hash MD5 per righe prodotti... 2026-02-24 13:31:43 - transform_process - INFO - Hash MD5 calcolato per 224490 righe prodotti. 2026-02-24 13:31:43 - transform_process - INFO - Pulizia tabella 'prodotti' Core... 2026-02-24 13:31:43 - transform_process - INFO - Tabella 'prodotti' Core pulita (0 righe eliminate). 2026-02-24 13:31:43 - transform_process - INFO - Inserimento di 224490 righe in 'prodotti' Core... 2026-02-24 13:31:53 - transform_process - INFO - Inserimento in 'prodotti' Core terminato (righe tentate: 224490, fallite stimate: 0). 2026-02-24 13:31:53 - transform_process - INFO - Esecuzione logica post-trasformazione Prodotti Core... 2026-02-24 13:31:53 - transform_process - INFO - Avvio operazioni post-trasformazione su 'prodotti' Core... 2026-02-24 13:31:53 - transform_process - INFO - Prodotti Core: Righe totali prima della pulizia duplicati (post-transform): 224,486 2026-02-24 13:31:53 - transform_process - INFO - Prodotti Core: Nessun duplicato (basato su ROWID/PK) da rimuovere. 2026-02-24 13:31:53 - transform_process - INFO - Prodotti Core: Creazione/Verifica indici... 2026-02-24 13:31:53 - transform_process - INFO - Indici 'prodotti' Core creati/verificati. 2026-02-24 13:31:53 - transform_process - INFO - Prodotti Core: Esecuzione VACUUM... 2026-02-24 13:32:01 - transform_process - INFO - VACUUM completato in 7.66s 2026-02-24 13:32:01 - transform_process - INFO - Prodotti Core: Operazioni post-trasformazione terminate (Successo Generale Post: True). 2026-02-24 13:32:01 - transform_process - INFO - Trasformazione Prodotti terminata. 2026-02-24 13:32:01 - transform_process - INFO - --- Fine Trasformazione Prodotti (Status: SUCCESS) --- 2026-02-24 13:32:01 - transform_process - INFO - --- Inizio Trasformazione Emesso --- 2026-02-24 13:32:01 - transform_process - INFO - Avvio trasformazione Emesso (modalitą a blocchi, con calcolo timestamp)... 2026-02-24 13:32:01 - transform_process - INFO - Lettura chiavi Prodotto/Edizione valide da 'prodotti'... 2026-02-24 13:32:01 - transform_process - INFO - Trovate 224,486 chiavi Prodotto/Edizione valide. 2026-02-24 13:32:01 - transform_process - INFO - Pulizia tabella 'emesso' Core prima dell'inserimento... 2026-02-24 13:32:01 - transform_process - INFO - Tabella 'emesso' Core pulita. 2026-02-24 13:32:01 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 0)... 2026-02-24 13:32:01 - transform_process - INFO - Nessun'altra riga da processare. Fine del ciclo. 2026-02-24 13:32:01 - transform_process - INFO - Processo a blocchi completato. Totale righe inserite in 'emesso' Core: 0 2026-02-24 13:32:01 - transform_process - INFO - Avvio operazioni post-trasformazione su 'emesso' Core... 2026-02-24 13:32:01 - transform_process - INFO - 'emesso' Core: Creazione/Verifica indici... 2026-02-24 13:32:01 - transform_process - INFO - Indici 'emesso' Core creati/verificati. 2026-02-24 13:32:01 - transform_process - INFO - 'emesso' Core: Esecuzione VACUUM (potrebbe richiedere tempo)... 2026-02-24 13:32:09 - transform_process - INFO - VACUUM 'emesso' completato in 7.63s 2026-02-24 13:32:09 - transform_process - INFO - 'emesso' Core: Operazioni post-trasformazione terminate (Successo: True). 2026-02-24 13:32:09 - transform_process - INFO - Trasformazione Emesso (SUCCESS) completata in 7.86s. Trasformazione Emesso completata. 2026-02-24 13:32:09 - transform_process - INFO - Statistiche finali: {'righe_lette_staging': 0, 'righe_scartate_tipo_err': 0, 'righe_scartate_fk_mancante': 0, 'righe_inserite_core': 0, 'righe_fallite_core_db': 0, 'righe_con_timestamp_nullo': 0} 2026-02-24 13:32:09 - transform_process - INFO - --- Fine Trasformazione Emesso (Status: SUCCESS) --- 2026-02-24 13:32:09 - transform_process - INFO - --- Inizio Trasformazione Diritti --- 2026-02-24 13:32:09 - transform_process - INFO - Avvio trasformazione Diritti (schema aggiornato).. 2026-02-24 13:32:09 - transform_process - INFO - Caricamento mappa fornitore -> cluster... 2026-02-24 13:32:09 - transform_process - INFO - Caricata mappa con 1288 regole di clustering. 2026-02-24 13:32:09 - transform_process - INFO - Lettura chiavi Prodotto/Edizione valide da 'prodotti'... 2026-02-24 13:32:09 - transform_process - INFO - Trovate 224,486 chiavi Prodotto/Edizione valide. 2026-02-24 13:32:09 - transform_process - INFO - Lettura dati da stg_diritti... 2026-02-24 13:32:15 - transform_process - INFO - Rinomina colonne e applicazione filtri Diritti... 2026-02-24 13:32:15 - transform_process - INFO - Applicazione filtri per tipo_diritto='Free' e piattaforma='Analogico'... 2026-02-24 13:32:16 - transform_process - INFO - Filtro diritti applicato. Righe rimanenti: 51,008. Righe scartate: 220,324. 2026-02-24 13:32:16 - transform_process - INFO - Applicazione del clustering fornitori... 2026-02-24 13:32:16 - transform_process - INFO - Clustering fornitori completato. 2026-02-24 13:32:16 - transform_process - INFO - Conversione tipi e validazione dati Diritti filtrati... C:\PYTHON\DataHub\modules\transformation\_diritti_transformer.py:170: UserWarning: Could not infer format, so each element will be parsed individually, falling back to `dateutil`. To ensure parsing is consistent and as-expected, please specify a format. converted.loc[failed_mask] = pd.to_datetime(series[failed_mask], errors='coerce') 2026-02-24 13:32:17 - transform_process - INFO - Filtro tipi chiavi: 51,008 righe valide. 0 scartate. 2026-02-24 13:32:18 - transform_process - INFO - Validazione FK: 51,008 righe valide. 0 scartate. 2026-02-24 13:32:18 - transform_process - INFO - Preparazione dati finestre (approccio vettorizzato)... 2026-02-24 13:32:19 - transform_process - INFO - Estratti 3,446 record finestra validi. 2026-02-24 13:32:19 - transform_process - INFO - Pulizia tabelle core 'diritti' e 'diritti_windows'... 2026-02-24 13:32:19 - transform_process - INFO - Calcolo hash MD5 per righe diritti... 2026-02-24 13:32:22 - transform_process - INFO - Hash MD5 calcolato per 51008 righe diritti. 2026-02-24 13:32:31 - transform_process - INFO - Avvio operazioni post-trasformazione su 'diritti' e 'diritti_windows' Core (nuovo schema)... 2026-02-24 13:32:31 - transform_process - INFO - 'diritti' Core: Verifica indici... 2026-02-24 13:32:31 - transform_process - INFO - Indici aggiuntivi 'diritti' Core creati/verificati. 2026-02-24 13:32:31 - transform_process - INFO - 'diritti_windows' Core: Verifica indici... 2026-02-24 13:32:31 - transform_process - INFO - Indici 'diritti_windows' Core creati/verificati. 2026-02-24 13:32:31 - transform_process - INFO - Operazioni post-trasformazione Diritti terminate (Successo: True). 2026-02-24 13:32:31 - transform_process - INFO - Trasformazione Diritti (SUCCESS) completata in 22.57s. Trasformazione Diritti completata. 2026-02-24 13:32:31 - transform_process - INFO - Statistiche: {'righe_lette_staging': 271332, 'righe_scartate_tipo_err': 0, 'righe_scartate_fk_mancante': np.int64(0), 'righe_diritti_valide': 51008, 'righe_windows_valide': 3446, 'righe_inserite_diritti_core': 50993, 'righe_fallite_diritti_core': 15, 'righe_inserite_windows_core': 3391, 'righe_fallite_windows_core': 0} 2026-02-24 13:32:32 - transform_process - INFO - --- Fine Trasformazione Diritti (Status: SUCCESS) --- 2026-02-24 13:32:32 - transform_process - INFO - --- Inizio Trasformazione Cast --- 2026-02-24 13:32:32 - transform_process - INFO - Inizio trasformazione Cast (stg_cast -> cast) 2026-02-24 13:32:32 - transform_process - INFO - Lettura ID Prodotto validi dalla tabella 'prodotti' Core... 2026-02-24 13:32:32 - transform_process - INFO - Trovati 207,290 ID Prodotto unici validi. 2026-02-24 13:32:32 - transform_process - INFO - Lettura dati da stg_cast... 2026-02-24 13:32:36 - transform_process - INFO - Lette 1,758,742 righe da stg_cast. 2026-02-24 13:32:36 - transform_process - INFO - Applicazione CastQualityGate... 2026-02-24 13:32:56 - cast_dqg_transform - WARNING - AVVISO DQG Cast: Rimosse 2 righe con 'prodotto' nullo o non valido. 2026-02-24 13:32:56 - cast_dqg_transform - INFO - Report di qualitą salvato in: C:\PYTHON\DataHub\logs\quality_report_cast_20260224_133256.txt 2026-02-24 13:32:56 - transform_process - INFO - DQG Cast completato: 1,758,740 righe valide rimanenti (Scartate DQG: 2). 2026-02-24 13:32:56 - transform_process - INFO - Esecuzione pulizia aggiuntiva su nome e cognome... 2026-02-24 13:33:01 - transform_process - INFO - Pulizia aggiuntiva completata. 2026-02-24 13:33:01 - transform_process - INFO - Validazione formato numerico preliminare per colonne INT... 2026-02-24 13:33:07 - transform_process - WARNING - Validazione Formato 'progr_cast': Trovate 94 righe con valori non intero valido (o NA/Blank). 2026-02-24 13:33:07 - transform_process - INFO - Marcati 94 valori con formato non intero valido come NA. 2026-02-24 13:33:07 - transform_process - INFO - Conversione tipi finale per 'cast' Core... 2026-02-24 13:33:07 - transform_process - INFO - Conversione tipi finale e filtro NA 'prodotto' completati. Righe rimanenti: 1,758,740. Totale scartate per tipo/formato/NA_prodotto: 94 2026-02-24 13:33:07 - transform_process - INFO - Validazione Foreign Key logica ('prodotto')... 2026-02-24 13:33:07 - transform_process - INFO - Validazione FK completata. Righe con FK valida: 1,758,692. Scartate FK: 48. 2026-02-24 13:33:07 - transform_process - INFO - Preparazione dati e pulizia tabella 'cast' Core... 2026-02-24 13:33:08 - transform_process - INFO - Calcolo hash MD5 per righe cast... 2026-02-24 13:33:56 - transform_process - INFO - Hash MD5 calcolato per 1758692 righe cast. 2026-02-24 13:33:56 - transform_process - INFO - Pulizia tabella 'cast' Core prima dell'inserimento... 2026-02-24 13:33:56 - transform_process - INFO - Tabella 'cast' Core pulita (0 righe eliminate). 2026-02-24 13:33:56 - transform_process - INFO - Inizio inserimento di 1,758,692 righe in 'cast' Core... 2026-02-24 13:35:27 - transform_process - INFO - Commit transazione 'cast' completato. 2026-02-24 13:35:27 - transform_process - INFO - Inserite (stimate) 1,758,692 righe in 'cast'. Fallite: 0. 2026-02-24 13:35:27 - transform_process - INFO - Esecuzione logica post-trasformazione Cast Core... 2026-02-24 13:35:27 - transform_process - INFO - Avvio operazioni post-trasformazione su 'cast' Core... 2026-02-24 13:35:27 - transform_process - INFO - 'cast' Core: Creazione/Verifica indici... 2026-02-24 13:35:30 - transform_process - INFO - Indici 'cast' Core creati/verificati. 2026-02-24 13:35:30 - transform_process - INFO - 'cast' Core: Operazioni post-trasformazione terminate (Successo Indici: True). 2026-02-24 13:35:30 - transform_process - INFO - Trasformazione Cast completata in 178.52 secondi. Status: SUCCESS 2026-02-24 13:35:30 - transform_process - INFO - Statistiche finali Cast: righe_lette_staging=1,758,742, righe_dopo_dqg=1,758,740, righe_scartate_dqg=2, dqg_valori_null_corretti=10097, dqg_formati_corretti=3, dqg_avvisi=1, righe_scartate_formato_preliminare=94, righe_scartate_tipo_err=94, righe_scartate_prodotto_na=0, prodotti_validi_refs=1,758,692, righe_scartate_fk_mancante=48, righe_inserite_core=1,758,692, righe_fallite_core_db=0 2026-02-24 13:35:31 - transform_process - INFO - --- Fine Trasformazione Cast (Status: SUCCESS) --- 2026-02-24 13:35:31 - transform_process - INFO - --- Inizio Trasformazione Gemma --- 2026-02-24 13:35:31 - transform_process - INFO - Inizio trasformazione Gemma (stg_gemma -> gemma) 2026-02-24 13:35:31 - transform_process - INFO - Lettura dati da stg_gemma... 2026-02-24 13:35:32 - transform_process - INFO - Lette 50,989 righe da stg_gemma. 2026-02-24 13:35:32 - transform_process - INFO - Applicazione logica di trasformazione per i campi 'V_*'... 2026-02-24 13:35:32 - transform_process - INFO - Aggiornati 9273 record nella colonna 'V_C5' con '!'. 2026-02-24 13:35:32 - transform_process - INFO - Aggiornati 10698 record nella colonna 'V_I1' con '!'. 2026-02-24 13:35:32 - transform_process - INFO - Aggiornati 9496 record nella colonna 'V_R4' con '!'. 2026-02-24 13:35:32 - transform_process - INFO - Aggiornati 11826 record nella colonna 'V_LA5' con '!'. 2026-02-24 13:35:32 - transform_process - INFO - Aggiornati 12425 record nella colonna 'V_I2' con '!'. 2026-02-24 13:35:32 - transform_process - INFO - Aggiornati 11947 record nella colonna 'V_IRIS' con '!'. 2026-02-24 13:35:32 - transform_process - INFO - Aggiornati 12276 record nella colonna 'V_TOP' con '!'. 2026-02-24 13:35:32 - transform_process - INFO - Aggiornati 8849 record nella colonna 'V_FOC' con '!'. 2026-02-24 13:35:32 - transform_process - INFO - Aggiornati 12155 record nella colonna 'V_C20' con '!'. 2026-02-24 13:35:32 - transform_process - INFO - Aggiornati 12393 record nella colonna 'V_CI34' con '!'. 2026-02-24 13:35:32 - transform_process - INFO - Aggiornati 12446 record nella colonna 'V_C27' con '!'. 2026-02-24 13:35:33 - transform_process - INFO - Aggiornati 12332 record nella colonna 'V_CIN' con '!'. 2026-02-24 13:35:33 - transform_process - INFO - Aggiornati 11915 record nella colonna 'V_INF' con '!'. 2026-02-24 13:35:33 - transform_process - INFO - Aggiornati 12374 record nella colonna 'V_EMO' con '!'. 2026-02-24 13:35:33 - transform_process - INFO - Aggiornati 12382 record nella colonna 'V_ENE' con '!'. 2026-02-24 13:35:33 - transform_process - INFO - Aggiornati 12422 record nella colonna 'V_COM' con '!'. 2026-02-24 13:35:33 - transform_process - INFO - Aggiornati 12425 record nella colonna 'V_STO' con '!'. 2026-02-24 13:35:33 - transform_process - INFO - Aggiornati 12397 record nella colonna 'V_CRI' con '!'. 2026-02-24 13:35:33 - transform_process - INFO - Aggiornati 12426 record nella colonna 'V_ACT' con '!'. 2026-02-24 13:35:33 - transform_process - INFO - Logica di trasformazione completata. Totale campi aggiornati: 222,457. 2026-02-24 13:35:33 - transform_process - INFO - Pulizia e inserimento dati nella tabella 'gemma' Core... 2026-02-24 13:35:33 - transform_process - INFO - Calcolo hash MD5 per righe gemma... 2026-02-24 13:35:38 - transform_process - INFO - Hash MD5 calcolato per 50989 righe gemma. 2026-02-24 13:35:38 - transform_process - INFO - [Gemma] record pre-delete in 'gemma': 0 2026-02-24 13:35:38 - transform_process - INFO - Tabella 'gemma' Core pulita. Inizio inserimento di 50,989 righe. 2026-02-24 13:35:39 - transform_process - INFO - Inserite 50,989 righe nella tabella 'gemma' Core. 2026-02-24 13:35:39 - transform_process - INFO - Trasformazione Gemma completata in 8.01 secondi. Status: SUCCESS 2026-02-24 13:35:40 - transform_process - INFO - --- Fine Trasformazione Gemma (Status: SUCCESS) --- 2026-02-24 13:35:40 - transform_process - INFO - --- Inizio Trasformazione Boxoffice --- 2026-02-24 13:35:40 - transform_process - INFO - Avvio trasformazione Box Office (stg_boxoffice -> boxoffice)... 2026-02-24 13:35:40 - transform_process - INFO - Lettura dati da stg_boxoffice... 2026-02-24 13:35:40 - transform_process - INFO - Pulizia e conversione tipi... 2026-02-24 13:35:41 - transform_process - INFO - Aggregazione dati per prodotto... 2026-02-24 13:35:41 - transform_process - INFO - Pulizia e inserimento nella tabella 'boxoffice' Core... 2026-02-24 13:35:42 - transform_process - INFO - Trasformazione Box Office completata in 2.16s. Inserite 207282 righe. 2026-02-24 13:35:42 - transform_process - INFO - --- Fine Trasformazione Boxoffice (Status: SUCCESS) --- 2026-02-24 13:35:42 - transform_process - INFO - Processo di trasformazione terminato (blocco finally). Durata: 264.97 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 24/02/2026 13:31:17 = ============================================================ TRASFORMAZIONE DATI (Staging -> Core) ------------------------------\n Database target: C:\PYTHON\DataHub\db\temp.db \n============================== RISULTATI TRASFORMAZIONE (Staging -> Core) ============================== - Prodotti: \u2705 SUCCESS - Trasformazione completata. Righe finali in 'prodotti': 224,486. - Emesso: \u2705 SUCCESS - Trasformazione Emesso (SUCCESS) completata in 7.86s. Trasformazione Emesso completata. - Diritti: \u2705 SUCCESS - Trasformazione Diritti (SUCCESS) completata in 22.57s. Trasformazione Diritti completata. - Cast: \u2705 SUCCESS - Trasformazione Cast completata. - Gemma: \u2705 SUCCESS - Trasformazione Gemma completata. - Boxoffice: \u2705 SUCCESS - Trasformazione Box Office completata in 2.16s. Inserite 207282 righe. - Veg: \u2139\ufe0f SKIPPED - Logica transform_veg sospesa/non applicabile qui. ------------------------------ \n\u2705 Trasformazione completata con successo per tutte le tabelle eseguite/applicabili. Tempo totale trasformazione: 264.97 secondi. ==============================\n 2026-02-24 13:35:43 - recalc_process - INFO - --- Avvio ricalcolo Prima Visione --- 2026-02-24 13:35:43 - recalc_process - INFO - Avvio ricalcolo flag 'prima_visione' (logica aggiornata)... 2026-02-24 13:35:43 - recalc_process - INFO - Lettura dati da 'prodotti' per l'anno di produzione... 2026-02-24 13:35:43 - recalc_process - INFO - Lettura dati da 'emesso' (inclusa colonna timestamp e ncparpgm)... 2026-02-24 13:35:43 - recalc_process - WARNING - Tabella 'emesso' vuota o senza timestamp validi. Nessun ricalcolo. 2026-02-24 13:35:43 - recalc_process - INFO - --- Fine ricalcolo Prima Visione --- ============================================================ : DataHub - Gestione CoreDB = : Data: 24/02/2026 13:35:43 = ============================================================ RICALCOLO DATI CORE ------------------------------\n \n\u2705 Ricalcolo Prima Visione completato con successo. \n==============================\n 2026-02-24 13:35:44 - recalc_process - INFO - --- Avvio calcolo Main Prime Time Event --- 2026-02-24 13:35:44 - recalc_process - INFO - Avvio calcolo flag 'is_primetime_main'... 2026-02-24 13:35:44 - recalc_process - INFO - Reset della colonna 'is_primetime_main' a 0 per i record in fascia 'PR'... 2026-02-24 13:35:44 - recalc_process - INFO - Reset completato. 2026-02-24 13:35:44 - recalc_process - INFO - Identificazione dei casi semplici (1 solo programma in PR)... 2026-02-24 13:35:44 - recalc_process - INFO - Identificazione dei casi complessi (pił di 1 programma in PR)... 2026-02-24 13:35:44 - recalc_process - INFO - Nessun caso complesso trovato. Calcolo terminato. 2026-02-24 13:35:44 - recalc_process - INFO - --- Fine calcolo Main Prime Time Event --- ============================================================ : DataHub - Gestione CoreDB = : Data: 24/02/2026 13:35:44 = ============================================================ RICALCOLO DATI CORE ------------------------------\n \n\u2705 Calcolo Main Prime Time completato con successo. \n==============================\n 2026-02-24 13:35:45 - enrich_process - INFO - --- Avvio arricchimento Emesso con Diritti --- 2026-02-24 13:35:45 - enrich_process - INFO - Avvio arricchimento 'emesso' con dati dei diritti... 2026-02-24 13:35:45 - enrich_process - INFO - Caricata mappa con 1288 regole di clustering. 2026-02-24 13:35:45 - enrich_process - INFO - Lettura tabella 'diritti' (solo Free/Analogico) in memoria... 2026-02-24 13:35:46 - enrich_process - INFO - Caricati e clusterizzati 50993 record di diritti validi. 2026-02-24 13:35:46 - enrich_process - INFO - Reset delle colonne di arricchimento in 'emesso'... 2026-02-24 13:35:46 - enrich_process - INFO - Arricchimento 'emesso' completato con successo in 0.26 secondi. Totale righe arricchite: 0. 2026-02-24 13:35:46 - enrich_process - INFO - --- Fine arricchimento Emesso con Diritti --- ============================================================ : DataHub - Gestione CoreDB = : Data: 24/02/2026 13:35:45 = ============================================================ ARRICCHIMENTO DATI CORE ------------------------------\n \n\u2705 Arricchimento Emesso completato con successo. \n==============================\n Traceback (most recent call last): File "C:\PYTHON\DataHub\project_utils\export_production_db.py", line 405, in run self.prepare_production_database_local() File "C:\PYTHON\DataHub\project_utils\export_production_db.py", line 159, in prepare_production_database_local cursor.execute("PRAGMA synchronous = NORMAL") sqlite3.DatabaseError: database disk image is malformed ============================================================ : DataHub - Gestione CoreDB = : Data: 24/02/2026 13:35:47 = ============================================================ EXPORT DATABASE PRODUZIONE ------------------------------\n ====================================================================== EXPORT DATABASE PRODUZIONE (Build Local + Copy) ====================================================================== Inizio: 2026-02-24 13:35:47 Strategia: 1. Copia DB produzione dal server in locale (se esiste) 2. Export tabelle gestite su disco locale (veloce) 3. Ottimizzazione DB locale 4. Copia DB finale sul server (singola operazione) ====================================================================== Connessione database di lavoro: C:\PYTHON\DataHub\db\temp.db OK Connesso a database di lavoro ====================================================================== PREPARAZIONE DATABASE LOCALE ====================================================================== Rimozione DB locale temporaneo esistente... OK Rimosso: C:\PYTHON\DataHub\db\DataHub_production_temp.db Copia DB produzione dal server in locale... Da: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db (1024.00 MB) A: C:\PYTHON\DataHub\db\DataHub_production_temp.db OK Copiato (1024.00 MB) Questo preserva eventuali tabelle extra non gestite Connessione database locale: C:\PYTHON\DataHub\db\DataHub_production_temp.db X ERRORE FATALE: database disk image is malformed \n\u274c Export database produzione fallito. Controllare i log sopra. ================================================================================ DATAHUB - WEEKLY REFRESH ================================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db Data/Ora inizio: 2026-02-24 13:30:00 Totale step da eseguire: 8 ================================================================================ --- CANCELLAZIONE DATABASE ESISTENTE --- File database 'C:\PYTHON\DataHub\db\temp.db' eliminato con successo. ================================================================================ STEP 1/8: INIZIALIZZAZIONE DATABASE ================================================================================ Comando: C:\PYTHON\DataHub\venv\Scripts\python.exe C:\PYTHON\DataHub\main.py init -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 1/8 COMPLETATO in 0m 1s: INIZIALIZZAZIONE DATABASE ================================================================================ ================================================================================ STEP 2/8: AGGIORNAMENTO DATI DI RIFERIMENTO (RETI, ECC.) ================================================================================ Comando: C:\PYTHON\DataHub\venv\Scripts\python.exe C:\PYTHON\DataHub\main.py update-ref-data -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 2/8 COMPLETATO in 0m 0s: AGGIORNAMENTO DATI DI RIFERIMENTO (RETI, ECC.) ================================================================================ ================================================================================ STEP 3/8: IMPORTAZIONE DATI IN STAGING ================================================================================ Comando: C:\PYTHON\DataHub\venv\Scripts\python.exe C:\PYTHON\DataHub\main.py import --all -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 3/8 COMPLETATO in 1m 13s: IMPORTAZIONE DATI IN STAGING ================================================================================ ================================================================================ STEP 4/8: TRASFORMAZIONE DATI (STAGING -> CORE) ================================================================================ Comando: C:\PYTHON\DataHub\venv\Scripts\python.exe C:\PYTHON\DataHub\main.py transform --all -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 4/8 COMPLETATO in 4m 26s: TRASFORMAZIONE DATI (STAGING -> CORE) ================================================================================ ================================================================================ STEP 5/8: RICALCOLO PRIMA TV ================================================================================ Comando: C:\PYTHON\DataHub\venv\Scripts\python.exe C:\PYTHON\DataHub\main.py recalc --prima-visione -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 5/8 COMPLETATO in 0m 1s: RICALCOLO PRIMA TV ================================================================================ ================================================================================ STEP 6/8: CALCOLO EVENTO PRINCIPALE PRIME TIME ================================================================================ Comando: C:\PYTHON\DataHub\venv\Scripts\python.exe C:\PYTHON\DataHub\main.py recalc --primetime-main -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 6/8 COMPLETATO in 0m 1s: CALCOLO EVENTO PRINCIPALE PRIME TIME ================================================================================ ================================================================================ STEP 7/8: ARRICCHIMENTO EMESSO CON DIRITTI ================================================================================ Comando: C:\PYTHON\DataHub\venv\Scripts\python.exe C:\PYTHON\DataHub\main.py enrich --emesso-diritti -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 7/8 COMPLETATO in 0m 1s: ARRICCHIMENTO EMESSO CON DIRITTI ================================================================================ ================================================================================ STEP 8/8: EXPORT DATABASE PRODUZIONE ================================================================================ Comando: C:\PYTHON\DataHub\venv\Scripts\python.exe C:\PYTHON\DataHub\main.py export-production -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [ERRORE] STEP 8/8 FALLITO dopo 0m 33s: EXPORT DATABASE PRODUZIONE Codice di errore: 1 ================================================================================ [ERRORE] PROCESSO INTERROTTO A CAUSA DI ERRORE. ================================================================================ PROCESSO WEEKLY REFRESH TERMINATO CON ERRORI Tempo totale di esecuzione: 6m 19s Data/Ora fine: 2026-02-24 13:36:19 ================================================================================ ============================================================================ Weekly Refresh completato - Avvio Daily Refresh... ============================================================================ ============================================================================ DataHub - Daily Incremental Refresh ============================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db ============================================================================ 2026-02-24 13:36:20 - data_ingestion_orchestrator - INFO - Avvio processo completo di DataIngestion orchestrato... 2026-02-24 13:36:20 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: GEMMA --- 2026-02-24 13:36:20 - gemma_importer - INFO - Avvio importazione per 'stg_gemma' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_gemma.csv 2026-02-24 13:36:20 - gemma_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=0 2026-02-24 13:36:22 - gemma_importer - INFO - File letto: 50,989 righe. 2026-02-24 13:36:22 - gemma_importer - INFO - Pulizia tabella di staging 'stg_gemma'... 2026-02-24 13:36:22 - gemma_importer - INFO - Pulizia completata. 2026-02-24 13:36:22 - gemma_importer - INFO - Inserimento di 50,989 righe in 'stg_gemma'... 2026-02-24 13:36:23 - gemma_importer - INFO - Inserimento dati in staging completato con successo. 2026-02-24 13:36:23 - data_ingestion_orchestrator - INFO - --- Fine importazione per: GEMMA --- 2026-02-24 13:36:23 - data_ingestion_orchestrator - INFO - Processo completo di DataIngestion terminato in 2.59 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 24/02/2026 13:36:20 = ============================================================ IMPORTAZIONE DATI (Staging) ------------------------------\n Utilizzando percorso da server per gemma: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_gemma.csv \nAvvio processo di ingestione (Staging)... Processo di ingestione (Staging) terminato. \n============================== RISULTATI IMPORTAZIONE (Staging) ============================== \n\u2705 Gemma Staging: - Righe lette da CSV: 50,989 - Righe inserite staging: 50,989 \n------------------------------ Percorso database utilizzato: C:\PYTHON\DataHub\db\temp.db Controlla i file di log per maggiori dettagli. NOTA: I dati sono stati caricati nelle tabelle STAGING (stg_*). Eseguire il comando 'transform' per popolare le tabelle Core. ==============================\n 2026-02-24 13:36:24 - data_ingestion_orchestrator - INFO - Avvio processo completo di DataIngestion orchestrato... 2026-02-24 13:36:24 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: OSSERVATORIO --- 2026-02-24 13:36:24 - osservatorio_importer - INFO - Avvio importazione per 'stg_osservatorio' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\osservatorio.txt 2026-02-24 13:36:24 - osservatorio_importer - INFO - Lettura file senza header con: encoding='cp1252', delimitatore=';' C:\PYTHON\DataHub\data_ingestion\_osservatorio_importer.py:32: ParserWarning: Skipping line 4118: expected 26 fields, saw 27 df = pd.read_csv( 2026-02-24 13:36:25 - osservatorio_importer - INFO - File letto: 35,178 righe. 2026-02-24 13:36:25 - osservatorio_importer - INFO - Pulizia tabella di staging 'stg_osservatorio'... 2026-02-24 13:36:25 - osservatorio_importer - INFO - Pulizia completata. 2026-02-24 13:36:25 - osservatorio_importer - INFO - Inserimento di 35,178 righe in 'stg_osservatorio'... 2026-02-24 13:36:26 - osservatorio_importer - INFO - Inserimento dati in staging completato con successo. 2026-02-24 13:36:26 - data_ingestion_orchestrator - INFO - --- Fine importazione per: OSSERVATORIO --- 2026-02-24 13:36:26 - data_ingestion_orchestrator - INFO - Processo completo di DataIngestion terminato in 2.09 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 24/02/2026 13:36:24 = ============================================================ IMPORTAZIONE DATI (Staging) ------------------------------\n Utilizzando percorso da server per osservatorio: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\osservatorio.txt \nAvvio processo di ingestione (Staging)... Processo di ingestione (Staging) terminato. \n============================== RISULTATI IMPORTAZIONE (Staging) ============================== \n\u2705 Osservatorio Staging: - Righe lette da CSV: 35,178 - Righe inserite staging: 35,178 \n------------------------------ Percorso database utilizzato: C:\PYTHON\DataHub\db\temp.db Controlla i file di log per maggiori dettagli. NOTA: I dati sono stati caricati nelle tabelle STAGING (stg_*). Eseguire il comando 'transform' per popolare le tabelle Core. ==============================\n 2026-02-24 13:36:27 - transform_process - INFO - Avvio processo di trasformazione da Staging a Core... 2026-02-24 13:36:27 - transform_process - INFO - Database target: C:\PYTHON\DataHub\db\temp.db 2026-02-24 13:36:27 - transform_process - INFO - --- Inizio Trasformazione Gemma --- 2026-02-24 13:36:27 - transform_process - INFO - Inizio trasformazione Gemma (stg_gemma -> gemma) 2026-02-24 13:36:27 - transform_process - INFO - Lettura dati da stg_gemma... 2026-02-24 13:36:27 - transform_process - INFO - Lette 50,989 righe da stg_gemma. 2026-02-24 13:36:27 - transform_process - INFO - Applicazione logica di trasformazione per i campi 'V_*'... 2026-02-24 13:36:27 - transform_process - INFO - Aggiornati 9273 record nella colonna 'V_C5' con '!'. 2026-02-24 13:36:27 - transform_process - INFO - Aggiornati 10698 record nella colonna 'V_I1' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 9496 record nella colonna 'V_R4' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 11826 record nella colonna 'V_LA5' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 12425 record nella colonna 'V_I2' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 11947 record nella colonna 'V_IRIS' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 12276 record nella colonna 'V_TOP' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 8849 record nella colonna 'V_FOC' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 12155 record nella colonna 'V_C20' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 12393 record nella colonna 'V_CI34' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 12446 record nella colonna 'V_C27' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 12332 record nella colonna 'V_CIN' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 11915 record nella colonna 'V_INF' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 12374 record nella colonna 'V_EMO' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 12382 record nella colonna 'V_ENE' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 12422 record nella colonna 'V_COM' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 12425 record nella colonna 'V_STO' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 12397 record nella colonna 'V_CRI' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Aggiornati 12426 record nella colonna 'V_ACT' con '!'. 2026-02-24 13:36:28 - transform_process - INFO - Logica di trasformazione completata. Totale campi aggiornati: 222,457. 2026-02-24 13:36:28 - transform_process - INFO - Pulizia e inserimento dati nella tabella 'gemma' Core... 2026-02-24 13:36:28 - transform_process - INFO - Calcolo hash MD5 per righe gemma... 2026-02-24 13:36:34 - transform_process - INFO - Hash MD5 calcolato per 50989 righe gemma. 2026-02-24 13:36:34 - transform_process - INFO - [Gemma] record pre-delete in 'gemma': 50989 2026-02-24 13:36:34 - transform_process - INFO - Tabella 'gemma' Core pulita. Inizio inserimento di 50,989 righe. 2026-02-24 13:36:35 - transform_process - INFO - Inserite 50,989 righe nella tabella 'gemma' Core. 2026-02-24 13:36:35 - transform_process - INFO - Trasformazione Gemma completata in 8.54 secondi. Status: SUCCESS 2026-02-24 13:36:35 - transform_process - INFO - --- Fine Trasformazione Gemma (Status: SUCCESS) --- 2026-02-24 13:36:35 - transform_process - INFO - Processo di trasformazione terminato (blocco finally). Durata: 8.60 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 24/02/2026 13:36:27 = ============================================================ TRASFORMAZIONE DATI (Staging -> Core) ------------------------------\n Database target: C:\PYTHON\DataHub\db\temp.db \n============================== RISULTATI TRASFORMAZIONE (Staging -> Core) ============================== - Prodotti: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Emesso: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Diritti: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Cast: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Gemma: \u2705 SUCCESS - Trasformazione Gemma completata. - Boxoffice: \u2139\ufe0f SKIPPED - Dati Boxoffice gestiti nella fase Consolidate. - Veg: \u2139\ufe0f SKIPPED - Logica transform_veg sospesa/non applicabile qui. ------------------------------ \n\u2705 Trasformazione completata con successo per tutte le tabelle eseguite/applicabili. Tempo totale trasformazione: 8.60 secondi. ==============================\n ============================================================ : DataHub - Gestione CoreDB = : Data: 24/02/2026 13:36:36 = ============================================================ EXPORT DATABASE PRODUZIONE ------------------------------\n ====================================================================== EXPORT INCREMENTALE DAILY (Direct Update) ====================================================================== Inizio: 2026-02-24 13:36:36 Tabelle da aggiornare: - gemma - stg_osservatorio -> osservatorio Strategia: Connessione diretta al DB produzione ====================================================================== Connessione database di lavoro: C:\PYTHON\DataHub\db\temp.db OK Connesso a database di lavoro Connessione database produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db OK Connesso a database produzione ====================================================================== Aggiornamento tabelle... ====================================================================== [1/2] Aggiornamento gemma... ERRORE: database disk image is malformed [2/2] Aggiornamento stg_osservatorio->osservatorio... ERRORE: database disk image is malformed ====================================================================== SOMMARIO EXPORT INCREMENTALE ====================================================================== Database Produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db Size: 1024.00 MB Tabelle: Aggiornate: 0 Fallite: 2 Strategia: Direct Update - Connessione diretta al DB produzione - Aggiornamento solo tabelle daily (gemma, osservatorio) - Mantiene intatte tutte le altre tabelle ====================================================================== Completato in 0m 0s (0.1 secondi) Fine: 2026-02-24 13:36:36 \n\u274c Export database produzione fallito. Controllare i log sopra. ================================================================================ DATAHUB - DAILY REFRESH ================================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db Data/Ora inizio: 2026-02-24 13:36:20 Totale step da eseguire: 4 ================================================================================ ================================================================================ STEP 1/4: IMPORTAZIONE DATI GIORNALIERI (GEMMA) ================================================================================ Comando: C:\PYTHON\DataHub\venv\Scripts\python.exe C:\PYTHON\DataHub\main.py import --gemma -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 1/4 COMPLETATO in 0m 3s: IMPORTAZIONE DATI GIORNALIERI (GEMMA) ================================================================================ ================================================================================ STEP 2/4: IMPORTAZIONE DATI GIORNALIERI (OSSERVATORIO) ================================================================================ Comando: C:\PYTHON\DataHub\venv\Scripts\python.exe C:\PYTHON\DataHub\main.py import --osservatorio -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 2/4 COMPLETATO in 0m 2s: IMPORTAZIONE DATI GIORNALIERI (OSSERVATORIO) ================================================================================ ================================================================================ STEP 3/4: TRASFORMAZIONE DATI GIORNALIERI (GEMMA) ================================================================================ Comando: C:\PYTHON\DataHub\venv\Scripts\python.exe C:\PYTHON\DataHub\main.py transform --gemma -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 3/4 COMPLETATO in 0m 9s: TRASFORMAZIONE DATI GIORNALIERI (GEMMA) ================================================================================ ================================================================================ STEP 4/4: EXPORT INCREMENTALE DATABASE PRODUZIONE ================================================================================ Comando: C:\PYTHON\DataHub\venv\Scripts\python.exe C:\PYTHON\DataHub\main.py export-daily -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [ERRORE] STEP 4/4 FALLITO dopo 0m 1s: EXPORT INCREMENTALE DATABASE PRODUZIONE Codice di errore: 1 ================================================================================ [ERRORE] PROCESSO INTERROTTO A CAUSA DI ERRORE. ================================================================================ PROCESSO DAILY REFRESH TERMINATO CON ERRORI Tempo totale di esecuzione: 0m 17s Data/Ora fine: 2026-02-24 13:36:37 ================================================================================ ============================================================================ Daily Refresh terminato ============================================================================