=== Job Execution Log === Job: DataHub Weekly Refresh Execution ID: 26 Start Time: 2025-12-10 15:43:49 Command: C:\PYTHON\DataHub\start_weekly_refresh_local.bat Working Directory: C:\PYTHON\DataHub ================================================== ============================================================================ DataHub - Weekly Refresh (Modalita Locale) ============================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risores\SOFTWARE\DataHub\DataHub.db ============================================================================ 2025-12-10 15:43:50 - data_ingestion_orchestrator - INFO - Inizializzazione schema database richiesta... 2025-12-10 15:43:50 - data_ingestion_orchestrator - INFO - Esecuzione comandi 'CREATE TABLE IF NOT EXISTS'... 2025-12-10 15:43:50 - data_ingestion_orchestrator - INFO - Creazione/Verifica indici... 2025-12-10 15:43:51 - data_ingestion_orchestrator - INFO - Schema database verificato/creato con successo. ============================================================ : DataHub - Gestione CoreDB = : Data: 10/12/2025 15:43:50 = ============================================================ INIZIALIZZAZIONE DATABASE ------------------------------\n Percorso database target: C:\PYTHON\DataHub\db\temp.db \n\u2705 Database inizializzato o già esistente con successo (incluse tabelle Staging, Core base, Reporting base). \n==============================\n 2025-12-10 15:43:51 - update_ref_data - INFO - Avvio aggiornamento tabelle di dati di riferimento... 2025-12-10 15:43:51 - update_ref_data - INFO - Lettura dati da: C:\PYTHON\DataHub\config\reti_cluster.csv 2025-12-10 15:43:51 - update_ref_data - INFO - Lette 34 righe valide dal CSV. 2025-12-10 15:43:51 - update_ref_data - INFO - Pulizia tabella 'reti_cluster' nel database... 2025-12-10 15:43:51 - update_ref_data - INFO - Inserimento nuovi dati in 'reti_cluster'... 2025-12-10 15:43:51 - update_ref_data - INFO - Aggiornamento tabella 'reti_cluster' completato con successo. Inserite 34 righe. 2025-12-10 15:43:51 - update_ref_data - INFO - Aggiornamento dati di riferimento completato in 0.02 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 10/12/2025 15:43:51 = ============================================================ AGGIORNAMENTO DATI DI RIFERIMENTO ------------------------------\n \n\u2705 Aggiornamento dati di riferimento completato con successo. \n==============================\n 2025-12-10 15:43:52 - data_ingestion_orchestrator - INFO - Avvio processo completo di DataIngestion orchestrato... 2025-12-10 15:43:52 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: PRODOTTI --- 2025-12-10 15:43:52 - prodotti_importer - INFO - Avvio importazione per 'stg_prodotti' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_prod.csv 2025-12-10 15:43:52 - prodotti_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 C:\PYTHON\DataHub\data_ingestion\base_importer.py:80: ParserWarning: Skipping line 10528: expected 25 fields, saw 27 Skipping line 15725: expected 25 fields, saw 26 Skipping line 123518: expected 25 fields, saw 27 df = pd.read_csv( 2025-12-10 15:44:01 - prodotti_importer - INFO - File letto: 223,445 righe. 2025-12-10 15:44:01 - prodotti_importer - INFO - Pulizia tabella di staging 'stg_prodotti'... 2025-12-10 15:44:01 - prodotti_importer - INFO - Pulizia completata. 2025-12-10 15:44:01 - prodotti_importer - INFO - Inserimento di 223,445 righe in 'stg_prodotti'... 2025-12-10 15:44:02 - prodotti_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-10 15:44:02 - data_ingestion_orchestrator - INFO - --- Fine importazione per: PRODOTTI --- 2025-12-10 15:44:02 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: EMESSO --- 2025-12-10 15:44:02 - emesso_importer - INFO - Avvio importazione per 'stg_emesso' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_emesso.csv 2025-12-10 15:44:02 - emesso_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 ================================================================================ DATAHUB - WEEKLY REFRESH ================================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db Data/Ora inizio: 2025-12-10 15:43:50 Totale step da eseguire: 8 ================================================================================ --- CANCELLAZIONE DATABASE ESISTENTE --- File database 'C:\PYTHON\DataHub\db\temp.db' eliminato con successo. ================================================================================ STEP 1/8: INIZIALIZZAZIONE DATABASE ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py init -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 1/8 COMPLETATO in 0m 0s: INIZIALIZZAZIONE DATABASE ================================================================================ ================================================================================ STEP 2/8: AGGIORNAMENTO DATI DI RIFERIMENTO (RETI, ECC.) ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py update-ref-data -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 2/8 COMPLETATO in 0m 0s: AGGIORNAMENTO DATI DI RIFERIMENTO (RETI, ECC.) ================================================================================ ================================================================================ STEP 3/8: IMPORTAZIONE DATI IN STAGING ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py import --all -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [ERRORE] STEP 3/8 FALLITO dopo 2m 23s: IMPORTAZIONE DATI IN STAGING Codice di errore: 1 ================================================================================ [ERRORE] PROCESSO INTERROTTO A CAUSA DI ERRORE. ================================================================================ PROCESSO WEEKLY REFRESH TERMINATO CON ERRORI Tempo totale di esecuzione: 2m 24s Data/Ora fine: 2025-12-10 15:46:15 ================================================================================ ============================================================================ Weekly Refresh completato - Avvio Daily Refresh... ============================================================================ ============================================================================ DataHub - Daily Incremental Refresh ============================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db ============================================================================ 2025-12-10 15:46:16 - data_ingestion_orchestrator - INFO - Avvio processo completo di DataIngestion orchestrato... 2025-12-10 15:46:16 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: GEMMA --- 2025-12-10 15:46:16 - gemma_importer - INFO - Avvio importazione per 'stg_gemma' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_gemma.csv 2025-12-10 15:46:16 - gemma_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=0 ^CTerminare il processo batch (S/N)?