=== Job Execution Log === Job: DataHub Weekly Refresh Execution ID: 27 Start Time: 2025-12-10 15:46:40 Command: C:\PYTHON\DataHub\start_weekly_refresh_local.bat Working Directory: C:\PYTHON\DataHub ================================================== ============================================================================ DataHub - Weekly Refresh (Modalita Locale) ============================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risores\SOFTWARE\DataHub\DataHub.db ============================================================================ 2025-12-10 15:46:41 - data_ingestion_orchestrator - INFO - Inizializzazione schema database richiesta... 2025-12-10 15:46:41 - data_ingestion_orchestrator - INFO - Esecuzione comandi 'CREATE TABLE IF NOT EXISTS'... 2025-12-10 15:46:41 - data_ingestion_orchestrator - INFO - Creazione/Verifica indici... 2025-12-10 15:46:41 - data_ingestion_orchestrator - INFO - Schema database verificato/creato con successo. ============================================================ : DataHub - Gestione CoreDB = : Data: 10/12/2025 15:46:41 = ============================================================ INIZIALIZZAZIONE DATABASE ------------------------------\n Percorso database target: C:\PYTHON\DataHub\db\temp.db \n\u2705 Database inizializzato o già esistente con successo (incluse tabelle Staging, Core base, Reporting base). \n==============================\n 2025-12-10 15:46:42 - update_ref_data - INFO - Avvio aggiornamento tabelle di dati di riferimento... 2025-12-10 15:46:42 - update_ref_data - INFO - Lettura dati da: C:\PYTHON\DataHub\config\reti_cluster.csv 2025-12-10 15:46:42 - update_ref_data - INFO - Lette 34 righe valide dal CSV. 2025-12-10 15:46:42 - update_ref_data - INFO - Pulizia tabella 'reti_cluster' nel database... 2025-12-10 15:46:42 - update_ref_data - INFO - Inserimento nuovi dati in 'reti_cluster'... 2025-12-10 15:46:42 - update_ref_data - INFO - Aggiornamento tabella 'reti_cluster' completato con successo. Inserite 34 righe. 2025-12-10 15:46:42 - update_ref_data - INFO - Aggiornamento dati di riferimento completato in 0.03 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 10/12/2025 15:46:42 = ============================================================ AGGIORNAMENTO DATI DI RIFERIMENTO ------------------------------\n \n\u2705 Aggiornamento dati di riferimento completato con successo. \n==============================\n 2025-12-10 15:46:43 - data_ingestion_orchestrator - INFO - Avvio processo completo di DataIngestion orchestrato... 2025-12-10 15:46:43 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: PRODOTTI --- 2025-12-10 15:46:43 - prodotti_importer - INFO - Avvio importazione per 'stg_prodotti' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_prod.csv 2025-12-10 15:46:43 - prodotti_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 C:\PYTHON\DataHub\data_ingestion\base_importer.py:80: ParserWarning: Skipping line 10528: expected 25 fields, saw 27 Skipping line 15725: expected 25 fields, saw 26 Skipping line 123518: expected 25 fields, saw 27 df = pd.read_csv( 2025-12-10 15:47:22 - prodotti_importer - INFO - File letto: 223,445 righe. 2025-12-10 15:47:22 - prodotti_importer - INFO - Pulizia tabella di staging 'stg_prodotti'... 2025-12-10 15:47:22 - prodotti_importer - INFO - Pulizia completata. 2025-12-10 15:47:22 - prodotti_importer - INFO - Inserimento di 223,445 righe in 'stg_prodotti'... 2025-12-10 15:47:23 - prodotti_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-10 15:47:23 - data_ingestion_orchestrator - INFO - --- Fine importazione per: PRODOTTI --- 2025-12-10 15:47:23 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: EMESSO --- 2025-12-10 15:47:23 - emesso_importer - INFO - Avvio importazione per 'stg_emesso' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_emesso.csv 2025-12-10 15:47:23 - emesso_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 2025-12-10 16:00:57 - emesso_importer - INFO - File letto: 17,659,961 righe. 2025-12-10 16:00:57 - emesso_importer - INFO - Applicando filtro reti: ['7D', 'B5', 'B6', 'BP', 'C5', 'CL', 'CM', 'DD', 'DE', 'DG', 'FH', 'FI', 'FT', 'FU', 'GI', 'I1', 'I2', 'KA', 'KB', 'KI', 'KQ', 'LA', 'LB', 'LT', 'MC', 'N1', 'N2', 'N3', 'N4', 'NM', 'NP', 'R4', 'TS', 'WB'] 2025-12-10 16:01:12 - emesso_importer - INFO - Filtro reti applicato. Righe scartate: 9,082,765 2025-12-10 16:01:12 - emesso_importer - INFO - Pulizia tabella di staging 'stg_emesso'... 2025-12-10 16:01:12 - emesso_importer - INFO - Pulizia completata. 2025-12-10 16:01:12 - emesso_importer - INFO - Inserimento di 8,577,196 righe in 'stg_emesso'... 2025-12-10 16:02:25 - emesso_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-10 16:02:41 - data_ingestion_orchestrator - INFO - --- Fine importazione per: EMESSO --- 2025-12-10 16:02:41 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: DIRITTI --- 2025-12-10 16:02:41 - diritti_importer - INFO - Avvio importazione per 'stg_diritti' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_acq.csv 2025-12-10 16:02:41 - diritti_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 2025-12-10 16:03:08 - diritti_importer - INFO - File letto: 270,532 righe. 2025-12-10 16:03:08 - diritti_importer - INFO - Pulizia tabella di staging 'stg_diritti'... 2025-12-10 16:03:08 - diritti_importer - INFO - Pulizia completata. 2025-12-10 16:03:08 - diritti_importer - INFO - Inserimento di 270,532 righe in 'stg_diritti'... 2025-12-10 16:03:14 - diritti_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-10 16:03:14 - data_ingestion_orchestrator - INFO - --- Fine importazione per: DIRITTI --- 2025-12-10 16:03:14 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: IMDB --- 2025-12-10 16:03:14 - imdb_importer - INFO - Avvio importazione per 'stg_imdb' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_imdb.csv 2025-12-10 16:03:14 - imdb_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 C:\PYTHON\DataHub\data_ingestion\base_importer.py:80: ParserWarning: Skipping line 32739: expected 5 fields, saw 6 Skipping line 104706: expected 5 fields, saw 6 df = pd.read_csv( 2025-12-10 16:03:16 - imdb_importer - INFO - File letto: 109,105 righe. 2025-12-10 16:03:17 - imdb_importer - INFO - Pulizia tabella di staging 'stg_imdb'... 2025-12-10 16:03:17 - imdb_importer - INFO - Pulizia completata. 2025-12-10 16:03:17 - imdb_importer - INFO - Inserimento di 109,105 righe in 'stg_imdb'... 2025-12-10 16:03:17 - imdb_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-10 16:03:17 - data_ingestion_orchestrator - INFO - --- Fine importazione per: IMDB --- 2025-12-10 16:03:17 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: BOXOFFICE --- 2025-12-10 16:03:17 - boxoffice_importer - INFO - Avvio importazione per 'stg_boxoffice' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_box_totali.csv 2025-12-10 16:03:17 - boxoffice_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 2025-12-10 16:03:20 - boxoffice_importer - INFO - File letto: 236,867 righe. 2025-12-10 16:03:20 - boxoffice_importer - INFO - Pulizia tabella di staging 'stg_boxoffice'... 2025-12-10 16:03:20 - boxoffice_importer - INFO - Pulizia completata. 2025-12-10 16:03:20 - boxoffice_importer - INFO - Inserimento di 236,867 righe in 'stg_boxoffice'... 2025-12-10 16:03:21 - boxoffice_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-10 16:03:21 - data_ingestion_orchestrator - INFO - --- Fine importazione per: BOXOFFICE --- 2025-12-10 16:03:21 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: CAST --- 2025-12-10 16:03:21 - cast_importer - INFO - Avvio importazione per 'stg_cast' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_cast.csv 2025-12-10 16:03:21 - cast_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 C:\PYTHON\DataHub\data_ingestion\base_importer.py:80: ParserWarning: Skipping line 769632: expected 8 fields, saw 9 Skipping line 988693: expected 8 fields, saw 9 Skipping line 1223851: expected 8 fields, saw 9 Skipping line 1443371: expected 8 fields, saw 9 Skipping line 1646146: expected 8 fields, saw 9 Skipping line 1653296: expected 8 fields, saw 9 Skipping line 1658380: expected 8 fields, saw 9 df = pd.read_csv( 2025-12-10 16:03:47 - cast_importer - INFO - File letto: 1,749,477 righe. 2025-12-10 16:03:47 - cast_importer - INFO - Pulizia tabella di staging 'stg_cast'... 2025-12-10 16:03:47 - cast_importer - INFO - Pulizia completata. 2025-12-10 16:03:47 - cast_importer - INFO - Inserimento di 1,749,477 righe in 'stg_cast'... ^C