=== Job Execution Log === Job: DataHub Weekly Refresh Execution ID: 11 Start Time: 2025-12-04 11:14:35 Command: C:\PYTHON\DataHub\start_weekly_refresh_local.bat Working Directory: C:\PYTHON\DataHub ================================================== ============================================================================ DataHub - Weekly Refresh (Modalita Locale) ============================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risores\SOFTWARE\DataHub\DataHub.db ============================================================================ 2025-12-04 11:14:37 - data_ingestion_orchestrator - INFO - Inizializzazione schema database richiesta... 2025-12-04 11:14:37 - data_ingestion_orchestrator - INFO - Esecuzione comandi 'CREATE TABLE IF NOT EXISTS'... 2025-12-04 11:14:37 - data_ingestion_orchestrator - INFO - Creazione/Verifica indici... 2025-12-04 11:14:37 - data_ingestion_orchestrator - INFO - Schema database verificato/creato con successo. ============================================================ : DataHub - Gestione CoreDB = : Data: 04/12/2025 11:14:37 = ============================================================ INIZIALIZZAZIONE DATABASE ------------------------------\n Percorso database target: C:\PYTHON\DataHub\db\temp.db \n\u2705 Database inizializzato o gią esistente con successo (incluse tabelle Staging, Core base, Reporting base). \n==============================\n 2025-12-04 11:14:38 - update_ref_data - INFO - Avvio aggiornamento tabelle di dati di riferimento... 2025-12-04 11:14:38 - update_ref_data - INFO - Lettura dati da: C:\PYTHON\DataHub\config\reti_cluster.csv 2025-12-04 11:14:38 - update_ref_data - INFO - Lette 34 righe valide dal CSV. 2025-12-04 11:14:38 - update_ref_data - INFO - Pulizia tabella 'reti_cluster' nel database... 2025-12-04 11:14:38 - update_ref_data - INFO - Inserimento nuovi dati in 'reti_cluster'... 2025-12-04 11:14:38 - update_ref_data - INFO - Aggiornamento tabella 'reti_cluster' completato con successo. Inserite 34 righe. 2025-12-04 11:14:38 - update_ref_data - INFO - Aggiornamento dati di riferimento completato in 0.04 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 04/12/2025 11:14:38 = ============================================================ AGGIORNAMENTO DATI DI RIFERIMENTO ------------------------------\n \n\u2705 Aggiornamento dati di riferimento completato con successo. \n==============================\n 2025-12-04 11:14:39 - data_ingestion_orchestrator - INFO - Avvio processo completo di DataIngestion orchestrato... 2025-12-04 11:14:39 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: PRODOTTI --- 2025-12-04 11:14:39 - prodotti_importer - INFO - Avvio importazione per 'stg_prodotti' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_prod.csv 2025-12-04 11:14:39 - prodotti_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 C:\PYTHON\DataHub\data_ingestion\base_importer.py:80: ParserWarning: Skipping line 10531: expected 25 fields, saw 27 Skipping line 15727: expected 25 fields, saw 26 Skipping line 123487: expected 25 fields, saw 27 df = pd.read_csv( 2025-12-04 11:14:42 - prodotti_importer - INFO - File letto: 223,388 righe. 2025-12-04 11:14:42 - prodotti_importer - INFO - Pulizia tabella di staging 'stg_prodotti'... 2025-12-04 11:14:42 - prodotti_importer - INFO - Pulizia completata. 2025-12-04 11:14:42 - prodotti_importer - INFO - Inserimento di 223,388 righe in 'stg_prodotti'... 2025-12-04 11:14:43 - prodotti_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-04 11:14:43 - data_ingestion_orchestrator - INFO - --- Fine importazione per: PRODOTTI --- 2025-12-04 11:14:43 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: EMESSO --- 2025-12-04 11:14:43 - emesso_importer - INFO - Avvio importazione per 'stg_emesso' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_emesso.csv 2025-12-04 11:14:43 - emesso_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 2025-12-04 11:20:48 - emesso_importer - INFO - File letto: 17,641,328 righe. 2025-12-04 11:20:48 - emesso_importer - INFO - Applicando filtro reti: ['7D', 'B5', 'B6', 'BP', 'C5', 'CL', 'CM', 'DD', 'DE', 'DG', 'FH', 'FI', 'FT', 'FU', 'GI', 'I1', 'I2', 'KA', 'KB', 'KI', 'KQ', 'LA', 'LB', 'LT', 'MC', 'N1', 'N2', 'N3', 'N4', 'NM', 'NP', 'R4', 'TS', 'WB'] 2025-12-04 11:20:53 - emesso_importer - INFO - Filtro reti applicato. Righe scartate: 9,075,946 2025-12-04 11:20:53 - emesso_importer - INFO - Pulizia tabella di staging 'stg_emesso'... 2025-12-04 11:20:54 - emesso_importer - INFO - Pulizia completata. 2025-12-04 11:20:54 - emesso_importer - INFO - Inserimento di 8,565,382 righe in 'stg_emesso'... 2025-12-04 11:21:30 - emesso_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-04 11:21:40 - data_ingestion_orchestrator - INFO - --- Fine importazione per: EMESSO --- 2025-12-04 11:21:40 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: DIRITTI --- 2025-12-04 11:21:40 - diritti_importer - INFO - Avvio importazione per 'stg_diritti' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_acq.csv 2025-12-04 11:21:40 - diritti_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 2025-12-04 11:21:49 - diritti_importer - INFO - File letto: 270,372 righe. 2025-12-04 11:21:49 - diritti_importer - INFO - Pulizia tabella di staging 'stg_diritti'... 2025-12-04 11:21:49 - diritti_importer - INFO - Pulizia completata. 2025-12-04 11:21:49 - diritti_importer - INFO - Inserimento di 270,372 righe in 'stg_diritti'... 2025-12-04 11:21:55 - diritti_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-04 11:21:55 - data_ingestion_orchestrator - INFO - --- Fine importazione per: DIRITTI --- 2025-12-04 11:21:55 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: IMDB --- 2025-12-04 11:21:55 - imdb_importer - INFO - Avvio importazione per 'stg_imdb' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_imdb.csv 2025-12-04 11:21:55 - imdb_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 C:\PYTHON\DataHub\data_ingestion\base_importer.py:80: ParserWarning: Skipping line 32739: expected 5 fields, saw 6 Skipping line 104707: expected 5 fields, saw 6 df = pd.read_csv( 2025-12-04 11:21:56 - imdb_importer - INFO - File letto: 109,075 righe. 2025-12-04 11:21:56 - imdb_importer - INFO - Pulizia tabella di staging 'stg_imdb'... 2025-12-04 11:21:56 - imdb_importer - INFO - Pulizia completata. 2025-12-04 11:21:56 - imdb_importer - INFO - Inserimento di 109,075 righe in 'stg_imdb'... 2025-12-04 11:21:56 - imdb_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-04 11:21:56 - data_ingestion_orchestrator - INFO - --- Fine importazione per: IMDB --- 2025-12-04 11:21:56 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: BOXOFFICE --- 2025-12-04 11:21:56 - boxoffice_importer - INFO - Avvio importazione per 'stg_boxoffice' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_box_totali.csv 2025-12-04 11:21:56 - boxoffice_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 2025-12-04 11:21:58 - boxoffice_importer - INFO - File letto: 236,722 righe. 2025-12-04 11:21:58 - boxoffice_importer - INFO - Pulizia tabella di staging 'stg_boxoffice'... 2025-12-04 11:21:58 - boxoffice_importer - INFO - Pulizia completata. 2025-12-04 11:21:58 - boxoffice_importer - INFO - Inserimento di 236,722 righe in 'stg_boxoffice'... 2025-12-04 11:21:59 - boxoffice_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-04 11:21:59 - data_ingestion_orchestrator - INFO - --- Fine importazione per: BOXOFFICE --- 2025-12-04 11:21:59 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: CAST --- 2025-12-04 11:21:59 - cast_importer - INFO - Avvio importazione per 'stg_cast' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_cast.csv 2025-12-04 11:21:59 - cast_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 C:\PYTHON\DataHub\data_ingestion\base_importer.py:80: ParserWarning: Skipping line 769339: expected 8 fields, saw 9 Skipping line 988299: expected 8 fields, saw 9 Skipping line 1223339: expected 8 fields, saw 9 Skipping line 1442744: expected 8 fields, saw 9 Skipping line 1645398: expected 8 fields, saw 9 Skipping line 1652548: expected 8 fields, saw 9 Skipping line 1657632: expected 8 fields, saw 9 df = pd.read_csv( 2025-12-04 11:22:06 - cast_importer - INFO - File letto: 1,748,663 righe. 2025-12-04 11:22:06 - cast_importer - INFO - Pulizia tabella di staging 'stg_cast'... 2025-12-04 11:22:06 - cast_importer - INFO - Pulizia completata. 2025-12-04 11:22:06 - cast_importer - INFO - Inserimento di 1,748,663 righe in 'stg_cast'... 2025-12-04 11:22:12 - cast_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-04 11:22:12 - data_ingestion_orchestrator - INFO - --- Fine importazione per: CAST --- 2025-12-04 11:22:12 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: VEG --- 2025-12-04 11:22:12 - veg_importer - INFO - Avvio importazione per 'stg_veg' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_veg.csv 2025-12-04 11:22:12 - veg_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 2025-12-04 11:22:13 - veg_importer - INFO - File letto: 194,913 righe. 2025-12-04 11:22:13 - veg_importer - INFO - Pulizia tabella di staging 'stg_veg'... 2025-12-04 11:22:13 - veg_importer - INFO - Pulizia completata. 2025-12-04 11:22:13 - veg_importer - INFO - Inserimento di 194,913 righe in 'stg_veg'... 2025-12-04 11:22:14 - veg_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-04 11:22:14 - data_ingestion_orchestrator - INFO - --- Fine importazione per: VEG --- 2025-12-04 11:22:14 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: SCELTE_RETE --- 2025-12-04 11:22:14 - scelte_rete_importer - INFO - Avvio importazione per 'stg_scelte_rete' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_scelte_rete.csv 2025-12-04 11:22:14 - scelte_rete_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 2025-12-04 11:22:15 - scelte_rete_importer - INFO - File letto: 415,959 righe. 2025-12-04 11:22:15 - scelte_rete_importer - INFO - Pulizia tabella di staging 'stg_scelte_rete'... 2025-12-04 11:22:15 - scelte_rete_importer - INFO - Pulizia completata. 2025-12-04 11:22:15 - scelte_rete_importer - INFO - Inserimento di 415,959 righe in 'stg_scelte_rete'... 2025-12-04 11:22:16 - scelte_rete_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-04 11:22:16 - data_ingestion_orchestrator - INFO - --- Fine importazione per: SCELTE_RETE --- 2025-12-04 11:22:16 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: BOX_DETTAGLIO --- 2025-12-04 11:22:16 - box_dettaglio_importer - INFO - Avvio importazione per 'stg_box_dettaglio' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_box_dettaglio.csv 2025-12-04 11:22:16 - box_dettaglio_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=3 2025-12-04 11:22:19 - box_dettaglio_importer - INFO - File letto: 971,871 righe. 2025-12-04 11:22:19 - box_dettaglio_importer - INFO - Pulizia tabella di staging 'stg_box_dettaglio'... 2025-12-04 11:22:19 - box_dettaglio_importer - INFO - Pulizia completata. 2025-12-04 11:22:19 - box_dettaglio_importer - INFO - Inserimento di 971,871 righe in 'stg_box_dettaglio'... 2025-12-04 11:22:20 - box_dettaglio_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-04 11:22:20 - data_ingestion_orchestrator - INFO - --- Fine importazione per: BOX_DETTAGLIO --- 2025-12-04 11:22:20 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: GEMMA --- 2025-12-04 11:22:20 - gemma_importer - INFO - Avvio importazione per 'stg_gemma' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_gemma.csv 2025-12-04 11:22:20 - gemma_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=0 2025-12-04 11:22:22 - gemma_importer - INFO - File letto: 50,322 righe. 2025-12-04 11:22:22 - gemma_importer - INFO - Pulizia tabella di staging 'stg_gemma'... 2025-12-04 11:22:22 - gemma_importer - INFO - Pulizia completata. 2025-12-04 11:22:22 - gemma_importer - INFO - Inserimento di 50,322 righe in 'stg_gemma'... 2025-12-04 11:22:23 - gemma_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-04 11:22:23 - data_ingestion_orchestrator - INFO - --- Fine importazione per: GEMMA --- 2025-12-04 11:22:23 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: OSSERVATORIO --- 2025-12-04 11:22:23 - osservatorio_importer - INFO - Avvio importazione per 'stg_osservatorio' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\osservatorio.txt 2025-12-04 11:22:23 - osservatorio_importer - INFO - Lettura file senza header con: encoding='cp1252', delimitatore=';' C:\PYTHON\DataHub\data_ingestion\_osservatorio_importer.py:32: ParserWarning: Skipping line 4119: expected 26 fields, saw 27 df = pd.read_csv( 2025-12-04 11:22:25 - osservatorio_importer - INFO - File letto: 34,896 righe. 2025-12-04 11:22:25 - osservatorio_importer - INFO - Pulizia tabella di staging 'stg_osservatorio'... 2025-12-04 11:22:25 - osservatorio_importer - INFO - Pulizia completata. 2025-12-04 11:22:25 - osservatorio_importer - INFO - Inserimento di 34,896 righe in 'stg_osservatorio'... 2025-12-04 11:22:25 - osservatorio_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-04 11:22:25 - data_ingestion_orchestrator - INFO - --- Fine importazione per: OSSERVATORIO --- 2025-12-04 11:22:25 - data_ingestion_orchestrator - INFO - Processo completo di DataIngestion terminato in 466.14 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 04/12/2025 11:14:39 = ============================================================ IMPORTAZIONE DATI (Staging) ------------------------------\n Utilizzando percorso da server per prodotti: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_prod.csv Utilizzando percorso da server per emesso: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_emesso.csv Utilizzando percorso da server per diritti: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_acq.csv Utilizzando percorso da server per imdb: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_imdb.csv Utilizzando percorso da server per boxoffice: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_box_totali.csv Utilizzando percorso da server per cast: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_cast.csv Utilizzando percorso da server per veg: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_veg.csv Utilizzando percorso da server per scelte_rete: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_scelte_rete.csv Utilizzando percorso da server per box_dettaglio: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_box_dettaglio.csv Utilizzando percorso da server per gemma: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_gemma.csv Utilizzando percorso da server per osservatorio: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\osservatorio.txt Utilizzando filtro reti predefinito: 7D, B5, B6, BP, C5, CL, CM, DD, DE, DG, FH, FI, FT, FU, GI, I1, I2, KA, KB, KI, KQ, LA, LB, LT, MC, N1, N2, N3, N4, NM, NP, R4, TS, WB \nAvvio processo di ingestione (Staging)... Processo di ingestione (Staging) terminato. \n============================== RISULTATI IMPORTAZIONE (Staging) ============================== \n\u2705 Prodotti Staging: - Righe lette da CSV: 223,388 - Righe inserite staging: 223,388 \n\u2705 Emesso Staging: - Righe lette da CSV: 17,641,328 - Righe inserite staging: 8,565,382 - Righe filtrate (pre-staging): 9,075,946 - Reti importate: 7D, B5, B6, BP, C5, CL, CM, DD, DE, DG, FH, FI, FT, FU, GI, I1, I2, KA, KB, KI, KQ, LA, LB, LT, MC, N1, N2, N3, N4, NM, NP, R4, TS, WB \n\u2705 Diritti Staging: - Righe lette da CSV: 270,372 - Righe inserite staging: 270,372 \n\u2705 Imdb Staging: - Righe lette da CSV: 109,075 - Righe inserite staging: 109,075 \n\u2705 Boxoffice Staging: - Righe lette da CSV: 236,722 - Righe inserite staging: 236,722 \n\u2705 Cast Staging: - Righe lette da CSV: 1,748,663 - Righe inserite staging: 1,748,663 \n\u2705 Veg Staging: - Righe lette da CSV: 194,913 - Righe inserite staging: 194,913 \n\u2705 Scelte_rete Staging: - Righe lette da CSV: 415,959 - Righe inserite staging: 415,959 \n\u2705 Box_dettaglio Staging: - Righe lette da CSV: 971,871 - Righe inserite staging: 971,871 \n\u2705 Gemma Staging: - Righe lette da CSV: 50,322 - Righe inserite staging: 50,322 \n\u2705 Osservatorio Staging: - Righe lette da CSV: 34,896 - Righe inserite staging: 34,896 \n------------------------------ Percorso database utilizzato: C:\PYTHON\DataHub\db\temp.db Controlla i file di log per maggiori dettagli. NOTA: I dati sono stati caricati nelle tabelle STAGING (stg_*). Eseguire il comando 'transform' per popolare le tabelle Core. ==============================\n 2025-12-04 11:22:27 - transform_process - INFO - Avvio processo di trasformazione da Staging a Core... 2025-12-04 11:22:27 - transform_process - INFO - Database target: C:\PYTHON\DataHub\db\temp.db 2025-12-04 11:22:27 - transform_process - INFO - --- Inizio Trasformazione Prodotti --- 2025-12-04 11:22:27 - transform_process - INFO - Inizio trasformazione Prodotti (stg_prodotti -> prodotti) 2025-12-04 11:22:27 - transform_process - INFO - Lettura dati da stg_prodotti... 2025-12-04 11:22:29 - transform_process - INFO - Lette 223388 righe da stg_prodotti. 2025-12-04 11:22:29 - transform_process - INFO - Applicazione DataQualityGate Prodotti... 2025-12-04 11:22:32 - prodotti_dqg_transform - WARNING - AVVISO DQG Prodotti: Trovati 168 record con anno di produzione nel futuro (basato su colonna 'anno_produzione'). Saranno impostati a NULL. 2025-12-04 11:22:32 - prodotti_dqg_transform - WARNING - AVVISO: Rimosse 7 righe con chiavi primarie nulle 2025-12-04 11:22:32 - prodotti_dqg_transform - INFO - Report di qualitą salvato in: C:\PYTHON\DataHub\logs\quality_report_prodotti_20251204_112232.txt 2025-12-04 11:22:32 - transform_process - INFO - DQG Prodotti completato: 223381 righe valide rimanenti. 2025-12-04 11:22:33 - transform_process - INFO - Calcolo hash MD5 per righe prodotti... 2025-12-04 11:22:42 - transform_process - INFO - Hash MD5 calcolato per 223381 righe prodotti. 2025-12-04 11:22:42 - transform_process - INFO - Pulizia tabella 'prodotti' Core... 2025-12-04 11:22:42 - transform_process - INFO - Tabella 'prodotti' Core pulita (0 righe eliminate). 2025-12-04 11:22:42 - transform_process - INFO - Inserimento di 223381 righe in 'prodotti' Core... 2025-12-04 11:22:50 - transform_process - INFO - Inserimento in 'prodotti' Core terminato (righe tentate: 223381, fallite stimate: 0). 2025-12-04 11:22:50 - transform_process - INFO - Esecuzione logica post-trasformazione Prodotti Core... 2025-12-04 11:22:50 - transform_process - INFO - Avvio operazioni post-trasformazione su 'prodotti' Core... 2025-12-04 11:22:50 - transform_process - INFO - Prodotti Core: Righe totali prima della pulizia duplicati (post-transform): 223,377 2025-12-04 11:22:51 - transform_process - INFO - Prodotti Core: Nessun duplicato (basato su ROWID/PK) da rimuovere. 2025-12-04 11:22:51 - transform_process - INFO - Prodotti Core: Creazione/Verifica indici... 2025-12-04 11:22:51 - transform_process - INFO - Indici 'prodotti' Core creati/verificati. 2025-12-04 11:22:51 - transform_process - INFO - Prodotti Core: Esecuzione VACUUM... 2025-12-04 11:23:22 - transform_process - INFO - VACUUM completato in 31.33s 2025-12-04 11:23:22 - transform_process - INFO - Prodotti Core: Operazioni post-trasformazione terminate (Successo Generale Post: True). 2025-12-04 11:23:22 - transform_process - INFO - Trasformazione Prodotti terminata. 2025-12-04 11:23:22 - transform_process - INFO - --- Fine Trasformazione Prodotti (Status: SUCCESS) --- 2025-12-04 11:23:22 - transform_process - INFO - --- Inizio Trasformazione Emesso --- 2025-12-04 11:23:22 - transform_process - INFO - Avvio trasformazione Emesso (modalitą a blocchi, con calcolo timestamp)... 2025-12-04 11:23:22 - transform_process - INFO - Lettura chiavi Prodotto/Edizione valide da 'prodotti'... 2025-12-04 11:23:23 - transform_process - INFO - Trovate 223,377 chiavi Prodotto/Edizione valide. 2025-12-04 11:23:23 - transform_process - INFO - Pulizia tabella 'emesso' Core prima dell'inserimento... 2025-12-04 11:23:23 - transform_process - INFO - Tabella 'emesso' Core pulita. 2025-12-04 11:23:23 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 0)... 2025-12-04 11:23:41 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 200,000)... 2025-12-04 11:24:10 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 400,000)... 2025-12-04 11:24:38 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 600,000)... 2025-12-04 11:25:07 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 800,000)... 2025-12-04 11:25:46 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 1,000,000)... 2025-12-04 11:26:18 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 1,200,000)... 2025-12-04 11:26:55 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 1,400,000)... 2025-12-04 11:27:39 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 1,600,000)... 2025-12-04 11:28:18 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 1,800,000)... 2025-12-04 11:29:07 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 2,000,000)... 2025-12-04 11:29:49 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 2,200,000)... 2025-12-04 11:30:42 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 2,400,000)... 2025-12-04 11:31:40 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 2,600,000)... 2025-12-04 11:32:21 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 2,800,000)... 2025-12-04 11:33:00 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 3,000,000)... 2025-12-04 11:33:44 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 3,200,000)... 2025-12-04 11:34:41 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 3,400,000)... 2025-12-04 11:35:36 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 3,600,000)... 2025-12-04 11:36:17 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 3,800,000)... 2025-12-04 11:37:10 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 4,000,000)... 2025-12-04 11:38:23 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 4,200,000)... 2025-12-04 11:40:04 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 4,400,000)... 2025-12-04 11:41:06 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 4,600,000)... 2025-12-04 11:42:05 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 4,800,000)... 2025-12-04 11:42:59 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 5,000,000)... 2025-12-04 11:43:54 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 5,200,000)... 2025-12-04 11:44:55 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 5,400,000)... 2025-12-04 11:46:02 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 5,600,000)... 2025-12-04 11:47:03 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 5,800,000)... 2025-12-04 11:48:19 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 6,000,000)... 2025-12-04 11:49:49 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 6,200,000)... 2025-12-04 11:51:18 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 6,400,000)... 2025-12-04 11:52:45 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 6,600,000)... 2025-12-04 11:54:10 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 6,800,000)... 2025-12-04 11:56:13 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 7,000,000)... 2025-12-04 11:57:48 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 7,200,000)... 2025-12-04 11:59:07 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 7,400,000)... 2025-12-04 12:00:52 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 7,600,000)... 2025-12-04 12:02:53 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 7,800,000)... 2025-12-04 12:05:22 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 8,000,000)... 2025-12-04 12:07:24 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 8,200,000)... 2025-12-04 12:09:35 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 8,400,000)... 2025-12-04 12:11:06 - transform_process - INFO - Lettura blocco di 200,000 righe da stg_emesso (offset: 8,600,000)... 2025-12-04 12:11:08 - transform_process - INFO - Nessun'altra riga da processare. Fine del ciclo. 2025-12-04 12:11:08 - transform_process - INFO - Processo a blocchi completato. Totale righe inserite in 'emesso' Core: 8,565,382 2025-12-04 12:11:08 - transform_process - INFO - Avvio operazioni post-trasformazione su 'emesso' Core... 2025-12-04 12:11:08 - transform_process - INFO - 'emesso' Core: Creazione/Verifica indici... 2025-12-04 12:11:42 - transform_process - INFO - Indici 'emesso' Core creati/verificati. 2025-12-04 12:11:42 - transform_process - INFO - 'emesso' Core: Esecuzione VACUUM (potrebbe richiedere tempo)... 2025-12-04 12:14:36 - transform_process - INFO - VACUUM 'emesso' completato in 174.14s 2025-12-04 12:14:36 - transform_process - INFO - 'emesso' Core: Operazioni post-trasformazione terminate (Successo: True). 2025-12-04 12:14:36 - transform_process - INFO - Trasformazione Emesso (SUCCESS) completata in 3073.72s. Trasformazione Emesso completata. 2025-12-04 12:14:36 - transform_process - INFO - Statistiche finali: {'righe_lette_staging': 8565382, 'righe_scartate_tipo_err': 0, 'righe_scartate_fk_mancante': np.int64(0), 'righe_inserite_core': 8565382, 'righe_fallite_core_db': 0, 'righe_con_timestamp_nullo': np.int64(0)} 2025-12-04 12:14:36 - transform_process - INFO - --- Fine Trasformazione Emesso (Status: SUCCESS) --- 2025-12-04 12:14:36 - transform_process - INFO - --- Inizio Trasformazione Diritti --- 2025-12-04 12:14:36 - transform_process - INFO - Avvio trasformazione Diritti (schema aggiornato).. 2025-12-04 12:14:36 - transform_process - INFO - Caricamento mappa fornitore -> cluster... 2025-12-04 12:14:37 - transform_process - INFO - Caricata mappa con 1288 regole di clustering. 2025-12-04 12:14:37 - transform_process - INFO - Lettura chiavi Prodotto/Edizione valide da 'prodotti'... 2025-12-04 12:14:37 - transform_process - INFO - Trovate 223,377 chiavi Prodotto/Edizione valide. 2025-12-04 12:14:37 - transform_process - INFO - Lettura dati da stg_diritti... 2025-12-04 12:14:43 - transform_process - INFO - Rinomina colonne e applicazione filtri Diritti... 2025-12-04 12:14:43 - transform_process - INFO - Applicazione filtri per tipo_diritto='Free' e piattaforma='Analogico'... 2025-12-04 12:14:43 - transform_process - INFO - Filtro diritti applicato. Righe rimanenti: 50,880. Righe scartate: 219,492. 2025-12-04 12:14:43 - transform_process - INFO - Applicazione del clustering fornitori... 2025-12-04 12:14:43 - transform_process - INFO - Clustering fornitori completato. 2025-12-04 12:14:43 - transform_process - INFO - Conversione tipi e validazione dati Diritti filtrati... C:\PYTHON\DataHub\modules\transformation\_diritti_transformer.py:170: UserWarning: Could not infer format, so each element will be parsed individually, falling back to `dateutil`. To ensure parsing is consistent and as-expected, please specify a format. converted.loc[failed_mask] = pd.to_datetime(series[failed_mask], errors='coerce') 2025-12-04 12:14:44 - transform_process - INFO - Filtro tipi chiavi: 50,880 righe valide. 0 scartate. 2025-12-04 12:14:45 - transform_process - INFO - Validazione FK: 50,880 righe valide. 0 scartate. 2025-12-04 12:14:45 - transform_process - INFO - Preparazione dati finestre (approccio vettorizzato)... 2025-12-04 12:14:46 - transform_process - INFO - Estratti 3,435 record finestra validi. 2025-12-04 12:14:46 - transform_process - INFO - Pulizia tabelle core 'diritti' e 'diritti_windows'... 2025-12-04 12:14:46 - transform_process - INFO - Calcolo hash MD5 per righe diritti... 2025-12-04 12:14:48 - transform_process - INFO - Hash MD5 calcolato per 50880 righe diritti. 2025-12-04 12:14:54 - transform_process - INFO - Avvio operazioni post-trasformazione su 'diritti' e 'diritti_windows' Core (nuovo schema)... 2025-12-04 12:14:54 - transform_process - INFO - 'diritti' Core: Verifica indici... 2025-12-04 12:14:54 - transform_process - INFO - Indici aggiuntivi 'diritti' Core creati/verificati. 2025-12-04 12:14:54 - transform_process - INFO - 'diritti_windows' Core: Verifica indici... 2025-12-04 12:14:54 - transform_process - INFO - Indici 'diritti_windows' Core creati/verificati. 2025-12-04 12:14:54 - transform_process - INFO - Operazioni post-trasformazione Diritti terminate (Successo: True). 2025-12-04 12:14:54 - transform_process - INFO - Trasformazione Diritti (SUCCESS) completata in 17.82s. Trasformazione Diritti completata. 2025-12-04 12:14:54 - transform_process - INFO - Statistiche: {'righe_lette_staging': 270372, 'righe_scartate_tipo_err': 0, 'righe_scartate_fk_mancante': np.int64(0), 'righe_diritti_valide': 50880, 'righe_windows_valide': 3435, 'righe_inserite_diritti_core': 50865, 'righe_fallite_diritti_core': 15, 'righe_inserite_windows_core': 3380, 'righe_fallite_windows_core': 0} 2025-12-04 12:14:55 - transform_process - INFO - --- Fine Trasformazione Diritti (Status: SUCCESS) --- 2025-12-04 12:14:55 - transform_process - INFO - --- Inizio Trasformazione Cast --- 2025-12-04 12:14:55 - transform_process - INFO - Inizio trasformazione Cast (stg_cast -> cast) 2025-12-04 12:14:55 - transform_process - INFO - Lettura ID Prodotto validi dalla tabella 'prodotti' Core... 2025-12-04 12:14:55 - transform_process - INFO - Trovati 206,246 ID Prodotto unici validi. 2025-12-04 12:14:55 - transform_process - INFO - Lettura dati da stg_cast... 2025-12-04 12:14:59 - transform_process - INFO - Lette 1,748,663 righe da stg_cast. 2025-12-04 12:14:59 - transform_process - INFO - Applicazione CastQualityGate... 2025-12-04 12:15:17 - cast_dqg_transform - WARNING - AVVISO DQG Cast: Rimosse 2 righe con 'prodotto' nullo o non valido. 2025-12-04 12:15:17 - cast_dqg_transform - INFO - Report di qualitą salvato in: C:\PYTHON\DataHub\logs\quality_report_cast_20251204_121517.txt 2025-12-04 12:15:17 - transform_process - INFO - DQG Cast completato: 1,748,661 righe valide rimanenti (Scartate DQG: 2). 2025-12-04 12:15:17 - transform_process - INFO - Esecuzione pulizia aggiuntiva su nome e cognome... 2025-12-04 12:15:21 - transform_process - INFO - Pulizia aggiuntiva completata. 2025-12-04 12:15:21 - transform_process - INFO - Validazione formato numerico preliminare per colonne INT... 2025-12-04 12:15:28 - transform_process - WARNING - Validazione Formato 'progr_cast': Trovate 94 righe con valori non intero valido (o NA/Blank). 2025-12-04 12:15:28 - transform_process - INFO - Marcati 94 valori con formato non intero valido come NA. 2025-12-04 12:15:28 - transform_process - INFO - Conversione tipi finale per 'cast' Core... 2025-12-04 12:15:28 - transform_process - INFO - Conversione tipi finale e filtro NA 'prodotto' completati. Righe rimanenti: 1,748,661. Totale scartate per tipo/formato/NA_prodotto: 94 2025-12-04 12:15:28 - transform_process - INFO - Validazione Foreign Key logica ('prodotto')... 2025-12-04 12:15:28 - transform_process - INFO - Validazione FK completata. Righe con FK valida: 1,748,613. Scartate FK: 48. 2025-12-04 12:15:28 - transform_process - INFO - Preparazione dati e pulizia tabella 'cast' Core... 2025-12-04 12:15:29 - transform_process - INFO - Calcolo hash MD5 per righe cast... 2025-12-04 12:16:26 - transform_process - INFO - Hash MD5 calcolato per 1748613 righe cast. 2025-12-04 12:16:26 - transform_process - INFO - Pulizia tabella 'cast' Core prima dell'inserimento... 2025-12-04 12:16:26 - transform_process - INFO - Tabella 'cast' Core pulita (0 righe eliminate). 2025-12-04 12:16:26 - transform_process - INFO - Inizio inserimento di 1,748,613 righe in 'cast' Core... 2025-12-04 12:18:06 - transform_process - INFO - Commit transazione 'cast' completato. 2025-12-04 12:18:06 - transform_process - INFO - Inserite (stimate) 1,748,613 righe in 'cast'. Fallite: 0. 2025-12-04 12:18:06 - transform_process - INFO - Esecuzione logica post-trasformazione Cast Core... 2025-12-04 12:18:06 - transform_process - INFO - Avvio operazioni post-trasformazione su 'cast' Core... 2025-12-04 12:18:06 - transform_process - INFO - 'cast' Core: Creazione/Verifica indici... 2025-12-04 12:18:10 - transform_process - INFO - Indici 'cast' Core creati/verificati. 2025-12-04 12:18:10 - transform_process - INFO - 'cast' Core: Operazioni post-trasformazione terminate (Successo Indici: True). 2025-12-04 12:18:10 - transform_process - INFO - Trasformazione Cast completata in 195.63 secondi. Status: SUCCESS 2025-12-04 12:18:10 - transform_process - INFO - Statistiche finali Cast: righe_lette_staging=1,748,663, righe_dopo_dqg=1,748,661, righe_scartate_dqg=2, dqg_valori_null_corretti=10021, dqg_formati_corretti=3, dqg_avvisi=1, righe_scartate_formato_preliminare=94, righe_scartate_tipo_err=94, righe_scartate_prodotto_na=0, prodotti_validi_refs=1,748,613, righe_scartate_fk_mancante=48, righe_inserite_core=1,748,613, righe_fallite_core_db=0 2025-12-04 12:18:13 - transform_process - INFO - --- Fine Trasformazione Cast (Status: SUCCESS) --- 2025-12-04 12:18:13 - transform_process - INFO - --- Inizio Trasformazione Gemma --- 2025-12-04 12:18:13 - transform_process - INFO - Inizio trasformazione Gemma (stg_gemma -> gemma) 2025-12-04 12:18:13 - transform_process - INFO - Lettura dati da stg_gemma... 2025-12-04 12:18:13 - transform_process - INFO - Lette 50,322 righe da stg_gemma. 2025-12-04 12:18:13 - transform_process - INFO - Applicazione logica di trasformazione per i campi 'V_*'... 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 8933 record nella colonna 'V_C5' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 10365 record nella colonna 'V_I1' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 9110 record nella colonna 'V_R4' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 11455 record nella colonna 'V_LA5' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 12035 record nella colonna 'V_I2' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 11579 record nella colonna 'V_IRIS' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 11884 record nella colonna 'V_TOP' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 8565 record nella colonna 'V_FOC' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 11762 record nella colonna 'V_C20' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 12009 record nella colonna 'V_CI34' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 12062 record nella colonna 'V_C27' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 11948 record nella colonna 'V_CIN' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 11539 record nella colonna 'V_INF' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 11990 record nella colonna 'V_EMO' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 11998 record nella colonna 'V_ENE' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 12038 record nella colonna 'V_COM' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 12041 record nella colonna 'V_STO' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 12013 record nella colonna 'V_CRI' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Aggiornati 12042 record nella colonna 'V_ACT' con '!'. 2025-12-04 12:18:14 - transform_process - INFO - Logica di trasformazione completata. Totale campi aggiornati: 215,368. 2025-12-04 12:18:14 - transform_process - INFO - Pulizia e inserimento dati nella tabella 'gemma' Core... 2025-12-04 12:18:14 - transform_process - INFO - Calcolo hash MD5 per righe gemma... 2025-12-04 12:18:19 - transform_process - INFO - Hash MD5 calcolato per 50322 righe gemma. 2025-12-04 12:18:19 - transform_process - INFO - [Gemma] record pre-delete in 'gemma': 0 2025-12-04 12:18:19 - transform_process - INFO - Tabella 'gemma' Core pulita. Inizio inserimento di 50,322 righe. 2025-12-04 12:18:20 - transform_process - INFO - Inserite 50,322 righe nella tabella 'gemma' Core. 2025-12-04 12:18:20 - transform_process - INFO - Trasformazione Gemma completata in 7.47 secondi. Status: SUCCESS 2025-12-04 12:18:20 - transform_process - INFO - --- Fine Trasformazione Gemma (Status: SUCCESS) --- 2025-12-04 12:18:20 - transform_process - INFO - --- Inizio Trasformazione Boxoffice --- 2025-12-04 12:18:20 - transform_process - INFO - Avvio trasformazione Box Office (stg_boxoffice -> boxoffice)... 2025-12-04 12:18:20 - transform_process - INFO - Lettura dati da stg_boxoffice... 2025-12-04 12:18:21 - transform_process - INFO - Pulizia e conversione tipi... 2025-12-04 12:18:21 - transform_process - INFO - Aggregazione dati per prodotto... 2025-12-04 12:18:22 - transform_process - INFO - Pulizia e inserimento nella tabella 'boxoffice' Core... 2025-12-04 12:18:22 - transform_process - INFO - Trasformazione Box Office completata in 1.74s. Inserite 206238 righe. 2025-12-04 12:18:22 - transform_process - INFO - --- Fine Trasformazione Boxoffice (Status: SUCCESS) --- 2025-12-04 12:18:22 - transform_process - INFO - Processo di trasformazione terminato (blocco finally). Durata: 3355.46 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 04/12/2025 11:22:27 = ============================================================ TRASFORMAZIONE DATI (Staging -> Core) ------------------------------\n Database target: C:\PYTHON\DataHub\db\temp.db \n============================== RISULTATI TRASFORMAZIONE (Staging -> Core) ============================== - Prodotti: \u2705 SUCCESS - Trasformazione completata. Righe finali in 'prodotti': 223,377. - Emesso: \u2705 SUCCESS - Trasformazione Emesso (SUCCESS) completata in 3073.72s. Trasformazione Emesso completata. - Diritti: \u2705 SUCCESS - Trasformazione Diritti (SUCCESS) completata in 17.82s. Trasformazione Diritti completata. - Cast: \u2705 SUCCESS - Trasformazione Cast completata. - Gemma: \u2705 SUCCESS - Trasformazione Gemma completata. - Boxoffice: \u2705 SUCCESS - Trasformazione Box Office completata in 1.74s. Inserite 206238 righe. - Veg: \u2139\ufe0f SKIPPED - Logica transform_veg sospesa/non applicabile qui. ------------------------------ \n\u2705 Trasformazione completata con successo per tutte le tabelle eseguite/applicabili. Tempo totale trasformazione: 3355.46 secondi. ==============================\n 2025-12-04 12:18:24 - recalc_process - INFO - --- Avvio ricalcolo Prima Visione --- 2025-12-04 12:18:24 - recalc_process - INFO - Avvio ricalcolo flag 'prima_visione' (logica aggiornata)... 2025-12-04 12:18:24 - recalc_process - INFO - Lettura dati da 'prodotti' per l'anno di produzione... 2025-12-04 12:18:24 - recalc_process - INFO - Lettura dati da 'emesso' (inclusa colonna timestamp e ncparpgm)... 2025-12-04 12:19:15 - recalc_process - INFO - Letti 8,565,382 record validi da 'emesso'. 2025-12-04 12:19:20 - recalc_process - INFO - Unione dei dati di emesso e prodotti... 2025-12-04 12:19:34 - recalc_process - INFO - Identificazione della prima emissione assoluta per ogni prodotto... 2025-12-04 12:20:20 - recalc_process - INFO - Identificati 119188 record come prime emissioni assolute. 2025-12-04 12:20:20 - recalc_process - INFO - Applicazione delle nuove regole di ricalcolo... 2025-12-04 12:20:23 - recalc_process - INFO - Applicata regola 'Non-FILM' a 8162729 record. 2025-12-04 12:20:24 - recalc_process - INFO - Applicata regola 'FILM < 1984' a 179935 record. 2025-12-04 12:20:26 - recalc_process - INFO - Applicata regola speciale 'FILM >= 1984 con ncparpgm > 1' a 173 record. 2025-12-04 12:20:28 - recalc_process - INFO - Applicata regola standard 'FILM >= 1984' a 222545 record (16502 S, 206043 N). 2025-12-04 12:20:39 - recalc_process - INFO - Pronti per aggiornare: 221354 record a 'S' e 8344028 record a 'N'. 2025-12-04 12:20:39 - recalc_process - INFO - Reset della colonna 'prima_visione_recalc' a NULL... 2025-12-04 12:20:49 - recalc_process - INFO - Aggiornamento record a 'S'... 2025-12-04 12:21:15 - recalc_process - INFO - Aggiornamento record a 'N'... 2025-12-04 12:27:02 - recalc_process - INFO - Ricalcolo 'prima_visione' (logica aggiornata) completato con successo in 517.99 secondi. 2025-12-04 12:27:35 - recalc_process - INFO - --- Fine ricalcolo Prima Visione --- ============================================================ : DataHub - Gestione CoreDB = : Data: 04/12/2025 12:18:24 = ============================================================ RICALCOLO DATI CORE ------------------------------\n \n\u2705 Ricalcolo Prima Visione completato con successo. \n==============================\n 2025-12-04 12:27:37 - recalc_process - INFO - --- Avvio calcolo Main Prime Time Event --- 2025-12-04 12:27:37 - recalc_process - INFO - Avvio calcolo flag 'is_primetime_main'... 2025-12-04 12:27:37 - recalc_process - INFO - Reset della colonna 'is_primetime_main' a 0 per i record in fascia 'PR'... 2025-12-04 12:28:09 - recalc_process - INFO - Reset completato. 2025-12-04 12:28:09 - recalc_process - INFO - Identificazione dei casi semplici (1 solo programma in PR)... 2025-12-04 12:28:29 - recalc_process - INFO - Aggiornati 99706 record per i casi semplici. 2025-12-04 12:28:29 - recalc_process - INFO - Identificazione dei casi complessi (pił di 1 programma in PR)... 2025-12-04 12:28:44 - recalc_process - INFO - Trovati 309420 record appartenenti a casi complessi. Calcolo della copertura di Prime Time... 2025-12-04 12:29:05 - recalc_process - INFO - Aggiornati 100306 record per i casi complessi. 2025-12-04 12:29:05 - recalc_process - INFO - Calcolo 'is_primetime_main' completato con successo in 88.30 secondi. 2025-12-04 12:29:05 - recalc_process - INFO - --- Fine calcolo Main Prime Time Event --- ============================================================ : DataHub - Gestione CoreDB = : Data: 04/12/2025 12:27:37 = ============================================================ RICALCOLO DATI CORE ------------------------------\n \n\u2705 Calcolo Main Prime Time completato con successo. \n==============================\n 2025-12-04 12:29:06 - enrich_process - INFO - --- Avvio arricchimento Emesso con Diritti --- 2025-12-04 12:29:06 - enrich_process - INFO - Avvio arricchimento 'emesso' con dati dei diritti... 2025-12-04 12:29:06 - enrich_process - INFO - Caricata mappa con 1288 regole di clustering. 2025-12-04 12:29:06 - enrich_process - INFO - Lettura tabella 'diritti' (solo Free/Analogico) in memoria... 2025-12-04 12:29:06 - enrich_process - INFO - Caricati e clusterizzati 50865 record di diritti validi. 2025-12-04 12:29:06 - enrich_process - INFO - Reset delle colonne di arricchimento in 'emesso'... 2025-12-04 12:37:19 - enrich_process - INFO - Arricchimento 'emesso' completato con successo in 493.18 secondi. Totale righe arricchite: 1264665. 2025-12-04 12:37:19 - enrich_process - INFO - --- Fine arricchimento Emesso con Diritti --- ============================================================ : DataHub - Gestione CoreDB = : Data: 04/12/2025 12:29:06 = ============================================================ ARRICCHIMENTO DATI CORE ------------------------------\n \n\u2705 Arricchimento Emesso completato con successo. \n==============================\n ============================================================ : DataHub - Gestione CoreDB = : Data: 04/12/2025 12:37:21 = ============================================================ EXPORT DATABASE PRODUZIONE ------------------------------\n ====================================================================== EXPORT DATABASE PRODUZIONE (Build Local + Copy) ====================================================================== Inizio: 2025-12-04 12:37:21 Strategia: 1. Copia DB produzione dal server in locale (se esiste) 2. Export tabelle gestite su disco locale (veloce) 3. Ottimizzazione DB locale 4. Copia DB finale sul server (singola operazione) ====================================================================== Connessione database di lavoro: C:\PYTHON\DataHub\db\temp.db OK Connesso a database di lavoro ====================================================================== PREPARAZIONE DATABASE LOCALE ====================================================================== Copia DB produzione dal server in locale... Da: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db (2887.70 MB) A: C:\PYTHON\DataHub\db\DataHub_production_temp.db OK Copiato (2887.70 MB) Questo preserva eventuali tabelle extra non gestite Connessione database locale: C:\PYTHON\DataHub\db\DataHub_production_temp.db OK Connesso con ottimizzazioni per disco locale ====================================================================== ====================================================================== Tabelle da esportare: 9 Tabelle da saltare (staging): 11 ====================================================================== Tabelle ESCLUSE (staging): - stg_box_dettaglio - stg_boxoffice - stg_cast - stg_diritti - stg_emesso - stg_gemma - stg_imdb - stg_osservatorio - stg_prodotti - stg_scelte_rete - stg_veg ====================================================================== Inizio export tabelle... ====================================================================== [1/9] Exporting boxoffice... 50000/206238 (24%)... 100000/206238 (48%)... 150000/206238 (73%)... 200000/206238 (97%)... 206238/206238 (100%)...OK 206238 record [2/9] Exporting cast... 50000/1748613 (3%)... 100000/1748613 (6%)... 150000/1748613 (9%)... 200000/1748613 (11%)... 250000/1748613 (14%)... 300000/1748613 (17%)... 350000/1748613 (20%)... 400000/1748613 (23%)... 450000/1748613 (26%)... 500000/1748613 (29%)... 550000/1748613 (31%)... 600000/1748613 (34%)... 650000/1748613 (37%)... 700000/1748613 (40%)... 750000/1748613 (43%)... 800000/1748613 (46%)... 850000/1748613 (49%)... 900000/1748613 (51%)... 950000/1748613 (54%)... 1000000/1748613 (57%)... 1050000/1748613 (60%)... 1100000/1748613 (63%)... 1150000/1748613 (66%)... 1200000/1748613 (69%)... 1250000/1748613 (71%)... 1300000/1748613 (74%)... 1350000/1748613 (77%)... 1400000/1748613 (80%)... 1450000/1748613 (83%)... 1500000/1748613 (86%)... 1550000/1748613 (89%)... 1600000/1748613 (92%)... 1650000/1748613 (94%)... 1700000/1748613 (97%)... 1748613/1748613 (100%)...OK 1748613 record [3/9] Exporting diritti... OK 50865 record [4/9] Exporting diritti_windows... OK 3380 record [5/9] Exporting emesso... 50000/8565382 (1%)... 100000/8565382 (1%)... 150000/8565382 (2%)... 200000/8565382 (2%)... 250000/8565382 (3%)... 300000/8565382 (4%)... 350000/8565382 (4%)... 400000/8565382 (5%)... 450000/8565382 (5%)... 500000/8565382 (6%)... 550000/8565382 (6%)... 600000/8565382 (7%)... 650000/8565382 (8%)... 700000/8565382 (8%)... 750000/8565382 (9%)... 800000/8565382 (9%)... 850000/8565382 (10%)... 900000/8565382 (11%)... 950000/8565382 (11%)... 1000000/8565382 (12%)... 1050000/8565382 (12%)... 1100000/8565382 (13%)... 1150000/8565382 (13%)... 1200000/8565382 (14%)... 1250000/8565382 (15%)... 1300000/8565382 (15%)... 1350000/8565382 (16%)... 1400000/8565382 (16%)... 1450000/8565382 (17%)... 1500000/8565382 (18%)... 1550000/8565382 (18%)... 1600000/8565382 (19%)... 1650000/8565382 (19%)... 1700000/8565382 (20%)... 1750000/8565382 (20%)... 1800000/8565382 (21%)... 1850000/8565382 (22%)... 1900000/8565382 (22%)... 1950000/8565382 (23%)... 2000000/8565382 (23%)... 2050000/8565382 (24%)... 2100000/8565382 (25%)... 2150000/8565382 (25%)... 2200000/8565382 (26%)... 2250000/8565382 (26%)... 2300000/8565382 (27%)... 2350000/8565382 (27%)... 2400000/8565382 (28%)... 2450000/8565382 (29%)... 2500000/8565382 (29%)... 2550000/8565382 (30%)... 2600000/8565382 (30%)... 2650000/8565382 (31%)... 2700000/8565382 (32%)... 2750000/8565382 (32%)... 2800000/8565382 (33%)... 2850000/8565382 (33%)... 2900000/8565382 (34%)... 2950000/8565382 (34%)... 3000000/8565382 (35%)... 3050000/8565382 (36%)... 3100000/8565382 (36%)... 3150000/8565382 (37%)... 3200000/8565382 (37%)... 3250000/8565382 (38%)... 3300000/8565382 (39%)... 3350000/8565382 (39%)... 3400000/8565382 (40%)... 3450000/8565382 (40%)... 3500000/8565382 (41%)... 3550000/8565382 (41%)... 3600000/8565382 (42%)... 3650000/8565382 (43%)... 3700000/8565382 (43%)... 3750000/8565382 (44%)... 3800000/8565382 (44%)... 3850000/8565382 (45%)... 3900000/8565382 (46%)... 3950000/8565382 (46%)... 4000000/8565382 (47%)... 4050000/8565382 (47%)... 4100000/8565382 (48%)... 4150000/8565382 (48%)... 4200000/8565382 (49%)... 4250000/8565382 (50%)... 4300000/8565382 (50%)... 4350000/8565382 (51%)... 4400000/8565382 (51%)... 4450000/8565382 (52%)... 4500000/8565382 (53%)... 4550000/8565382 (53%)... 4600000/8565382 (54%)... 4650000/8565382 (54%)... 4700000/8565382 (55%)... 4750000/8565382 (55%)... 4800000/8565382 (56%)... 4850000/8565382 (57%)... 4900000/8565382 (57%)... 4950000/8565382 (58%)... 5000000/8565382 (58%)... 5050000/8565382 (59%)... 5100000/8565382 (60%)... 5150000/8565382 (60%)... 5200000/8565382 (61%)... 5250000/8565382 (61%)... 5300000/8565382 (62%)... 5350000/8565382 (62%)... 5400000/8565382 (63%)... 5450000/8565382 (64%)... 5500000/8565382 (64%)... 5550000/8565382 (65%)... 5600000/8565382 (65%)... 5650000/8565382 (66%)... 5700000/8565382 (67%)... 5750000/8565382 (67%)... 5800000/8565382 (68%)... 5850000/8565382 (68%)... 5900000/8565382 (69%)... 5950000/8565382 (69%)... 6000000/8565382 (70%)... 6050000/8565382 (71%)... 6100000/8565382 (71%)... 6150000/8565382 (72%)... 6200000/8565382 (72%)... 6250000/8565382 (73%)... 6300000/8565382 (74%)... 6350000/8565382 (74%)... 6400000/8565382 (75%)... 6450000/8565382 (75%)... 6500000/8565382 (76%)... 6550000/8565382 (76%)... 6600000/8565382 (77%)... 6650000/8565382 (78%)... 6700000/8565382 (78%)... 6750000/8565382 (79%)... 6800000/8565382 (79%)... 6850000/8565382 (80%)... 6900000/8565382 (81%)... 6950000/8565382 (81%)... 7000000/8565382 (82%)... 7050000/8565382 (82%)... 7100000/8565382 (83%)... 7150000/8565382 (83%)... 7200000/8565382 (84%)... 7250000/8565382 (85%)... 7300000/8565382 (85%)... 7350000/8565382 (86%)... 7400000/8565382 (86%)... 7450000/8565382 (87%)... 7500000/8565382 (88%)... 7550000/8565382 (88%)... 7600000/8565382 (89%)... 7650000/8565382 (89%)... 7700000/8565382 (90%)... 7750000/8565382 (90%)... 7800000/8565382 (91%)... 7850000/8565382 (92%)... 7900000/8565382 (92%)... 7950000/8565382 (93%)... 8000000/8565382 (93%)... 8050000/8565382 (94%)... 8100000/8565382 (95%)... 8150000/8565382 (95%)... 8200000/8565382 (96%)... 8250000/8565382 (96%)... 8300000/8565382 (97%)... 8350000/8565382 (97%)... 8400000/8565382 (98%)... 8450000/8565382 (99%)... 8500000/8565382 (99%)... 8550000/8565382 (100%)... 8565382/8565382 (100%)...OK 8565382 record [6/9] Exporting gemma... OK 50322 record [7/9] Exporting prodotti... 50000/223377 (22%)... 100000/223377 (45%)... 150000/223377 (67%)... 200000/223377 (90%)... 223377/223377 (100%)...OK 223377 record [8/9] Exporting reti_cluster... OK 34 record [9/9] Exporting rpt_prodotti_summary... OK 0 record ====================================================================== Export completato: - Tabelle esportate: 9 - Tabelle fallite: 0 - Tabelle saltate (staging): 11 ====================================================================== ====================================================================== OTTIMIZZAZIONE DATABASE LOCALE ====================================================================== Esecuzione VACUUM... OK VACUUM eseguito Esecuzione ANALYZE... OK ANALYZE eseguito ====================================================================== ====================================================================== COPIA DATABASE SU SERVER PRODUZIONE ====================================================================== Connessione database locale chiusa Backup database server esistente... A: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db.backup_20251204_124825 OK Backup creato Copia database su server... Da: C:\PYTHON\DataHub\db\DataHub_production_temp.db A: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db Dimensione: 2887.71 MB OK Copia completata in 77.1 secondi Verificato: 2887.71 MB Pulizia file temporanei... OK Rimosso: C:\PYTHON\DataHub\db\DataHub_production_temp.db ====================================================================== ====================================================================== SOMMARIO EXPORT DATABASE PRODUZIONE ====================================================================== Database Lavoro (source): Path: C:\PYTHON\DataHub\db\temp.db Size: 4140.46 MB Database Produzione (target sul server): Path: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db Size: 2887.71 MB Riduzione: 30.3% Tabelle: Esportate: 9 Saltate (staging): 11 Strategia: Build Local + Copy - Export eseguito su disco locale (veloce) - Singola copia file su server UNC (efficiente) ====================================================================== Completato in 12m 55s (775.6 secondi) Fine: 2025-12-04 12:50:16 \n\u2705 Export database produzione completato con successo. ================================================================================ DATAHUB - WEEKLY REFRESH ================================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db Data/Ora inizio: 2025-12-04 11:14:35 Totale step da eseguire: 8 ================================================================================ --- CANCELLAZIONE DATABASE ESISTENTE --- File database 'C:\PYTHON\DataHub\db\temp.db' eliminato con successo. ================================================================================ STEP 1/8: INIZIALIZZAZIONE DATABASE ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py init -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 1/8 COMPLETATO in 0m 1s: INIZIALIZZAZIONE DATABASE ================================================================================ ================================================================================ STEP 2/8: AGGIORNAMENTO DATI DI RIFERIMENTO (RETI, ECC.) ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py update-ref-data -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 2/8 COMPLETATO in 0m 0s: AGGIORNAMENTO DATI DI RIFERIMENTO (RETI, ECC.) ================================================================================ ================================================================================ STEP 3/8: IMPORTAZIONE DATI IN STAGING ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py import --all -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 3/8 COMPLETATO in 7m 47s: IMPORTAZIONE DATI IN STAGING ================================================================================ ================================================================================ STEP 4/8: TRASFORMAZIONE DATI (STAGING -> CORE) ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py transform --all -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 4/8 COMPLETATO in 55m 57s: TRASFORMAZIONE DATI (STAGING -> CORE) ================================================================================ ================================================================================ STEP 5/8: RICALCOLO PRIMA TV ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py recalc --prima-visione -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 5/8 COMPLETATO in 9m 13s: RICALCOLO PRIMA TV ================================================================================ ================================================================================ STEP 6/8: CALCOLO EVENTO PRINCIPALE PRIME TIME ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py recalc --primetime-main -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 6/8 COMPLETATO in 1m 29s: CALCOLO EVENTO PRINCIPALE PRIME TIME ================================================================================ ================================================================================ STEP 7/8: ARRICCHIMENTO EMESSO CON DIRITTI ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py enrich --emesso-diritti -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 7/8 COMPLETATO in 8m 14s: ARRICCHIMENTO EMESSO CON DIRITTI ================================================================================ ================================================================================ STEP 8/8: EXPORT DATABASE PRODUZIONE ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py export-production -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 8/8 COMPLETATO in 12m 56s: EXPORT DATABASE PRODUZIONE ================================================================================ ================================================================================ PROCESSO WEEKLY REFRESH COMPLETATO CON SUCCESSO! Tempo totale di esecuzione: 95m 40s Data/Ora fine: 2025-12-04 12:50:16 ================================================================================ ============================================================================ Weekly Refresh completato - Avvio Daily Refresh... ============================================================================ ============================================================================ DataHub - Daily Incremental Refresh ============================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db ============================================================================ 2025-12-04 12:50:18 - data_ingestion_orchestrator - INFO - Avvio processo completo di DataIngestion orchestrato... 2025-12-04 12:50:18 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: GEMMA --- 2025-12-04 12:50:18 - gemma_importer - INFO - Avvio importazione per 'stg_gemma' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_gemma.csv 2025-12-04 12:50:18 - gemma_importer - INFO - Lettura file con: encoding='cp1252', delimitatore=';', skip righe=0 2025-12-04 12:50:19 - gemma_importer - INFO - File letto: 50,322 righe. 2025-12-04 12:50:19 - gemma_importer - INFO - Pulizia tabella di staging 'stg_gemma'... 2025-12-04 12:50:19 - gemma_importer - INFO - Pulizia completata. 2025-12-04 12:50:19 - gemma_importer - INFO - Inserimento di 50,322 righe in 'stg_gemma'... 2025-12-04 12:50:20 - gemma_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-04 12:50:20 - data_ingestion_orchestrator - INFO - --- Fine importazione per: GEMMA --- 2025-12-04 12:50:20 - data_ingestion_orchestrator - INFO - Processo completo di DataIngestion terminato in 1.99 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 04/12/2025 12:50:18 = ============================================================ IMPORTAZIONE DATI (Staging) ------------------------------\n Utilizzando percorso da server per gemma: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\estr_gemma.csv \nAvvio processo di ingestione (Staging)... Processo di ingestione (Staging) terminato. \n============================== RISULTATI IMPORTAZIONE (Staging) ============================== \n\u2705 Gemma Staging: - Righe lette da CSV: 50,322 - Righe inserite staging: 50,322 \n------------------------------ Percorso database utilizzato: C:\PYTHON\DataHub\db\temp.db Controlla i file di log per maggiori dettagli. NOTA: I dati sono stati caricati nelle tabelle STAGING (stg_*). Eseguire il comando 'transform' per popolare le tabelle Core. ==============================\n 2025-12-04 12:50:20 - data_ingestion_orchestrator - INFO - Avvio processo completo di DataIngestion orchestrato... 2025-12-04 12:50:20 - data_ingestion_orchestrator - INFO - --- Avvio importazione per: OSSERVATORIO --- 2025-12-04 12:50:20 - osservatorio_importer - INFO - Avvio importazione per 'stg_osservatorio' da \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\osservatorio.txt 2025-12-04 12:50:20 - osservatorio_importer - INFO - Lettura file senza header con: encoding='cp1252', delimitatore=';' C:\PYTHON\DataHub\data_ingestion\_osservatorio_importer.py:32: ParserWarning: Skipping line 4119: expected 26 fields, saw 27 df = pd.read_csv( 2025-12-04 12:50:22 - osservatorio_importer - INFO - File letto: 34,896 righe. 2025-12-04 12:50:22 - osservatorio_importer - INFO - Pulizia tabella di staging 'stg_osservatorio'... 2025-12-04 12:50:22 - osservatorio_importer - INFO - Pulizia completata. 2025-12-04 12:50:22 - osservatorio_importer - INFO - Inserimento di 34,896 righe in 'stg_osservatorio'... 2025-12-04 12:50:22 - osservatorio_importer - INFO - Inserimento dati in staging completato con successo. 2025-12-04 12:50:22 - data_ingestion_orchestrator - INFO - --- Fine importazione per: OSSERVATORIO --- 2025-12-04 12:50:22 - data_ingestion_orchestrator - INFO - Processo completo di DataIngestion terminato in 2.07 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 04/12/2025 12:50:20 = ============================================================ IMPORTAZIONE DATI (Staging) ------------------------------\n Utilizzando percorso da server per osservatorio: \\mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\SCHEDULATORE\INPUT\osservatorio.txt \nAvvio processo di ingestione (Staging)... Processo di ingestione (Staging) terminato. \n============================== RISULTATI IMPORTAZIONE (Staging) ============================== \n\u2705 Osservatorio Staging: - Righe lette da CSV: 34,896 - Righe inserite staging: 34,896 \n------------------------------ Percorso database utilizzato: C:\PYTHON\DataHub\db\temp.db Controlla i file di log per maggiori dettagli. NOTA: I dati sono stati caricati nelle tabelle STAGING (stg_*). Eseguire il comando 'transform' per popolare le tabelle Core. ==============================\n 2025-12-04 12:50:23 - transform_process - INFO - Avvio processo di trasformazione da Staging a Core... 2025-12-04 12:50:23 - transform_process - INFO - Database target: C:\PYTHON\DataHub\db\temp.db 2025-12-04 12:50:23 - transform_process - INFO - --- Inizio Trasformazione Gemma --- 2025-12-04 12:50:23 - transform_process - INFO - Inizio trasformazione Gemma (stg_gemma -> gemma) 2025-12-04 12:50:23 - transform_process - INFO - Lettura dati da stg_gemma... 2025-12-04 12:50:23 - transform_process - INFO - Lette 50,322 righe da stg_gemma. 2025-12-04 12:50:23 - transform_process - INFO - Applicazione logica di trasformazione per i campi 'V_*'... 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 8933 record nella colonna 'V_C5' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 10365 record nella colonna 'V_I1' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 9110 record nella colonna 'V_R4' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 11455 record nella colonna 'V_LA5' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 12035 record nella colonna 'V_I2' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 11579 record nella colonna 'V_IRIS' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 11884 record nella colonna 'V_TOP' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 8565 record nella colonna 'V_FOC' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 11762 record nella colonna 'V_C20' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 12009 record nella colonna 'V_CI34' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 12062 record nella colonna 'V_C27' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 11948 record nella colonna 'V_CIN' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 11539 record nella colonna 'V_INF' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 11990 record nella colonna 'V_EMO' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 11998 record nella colonna 'V_ENE' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 12038 record nella colonna 'V_COM' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 12041 record nella colonna 'V_STO' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 12013 record nella colonna 'V_CRI' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Aggiornati 12042 record nella colonna 'V_ACT' con '!'. 2025-12-04 12:50:24 - transform_process - INFO - Logica di trasformazione completata. Totale campi aggiornati: 215,368. 2025-12-04 12:50:24 - transform_process - INFO - Pulizia e inserimento dati nella tabella 'gemma' Core... 2025-12-04 12:50:24 - transform_process - INFO - Calcolo hash MD5 per righe gemma... 2025-12-04 12:50:28 - transform_process - INFO - Hash MD5 calcolato per 50322 righe gemma. 2025-12-04 12:50:28 - transform_process - INFO - [Gemma] record pre-delete in 'gemma': 50322 2025-12-04 12:50:28 - transform_process - INFO - Tabella 'gemma' Core pulita. Inizio inserimento di 50,322 righe. 2025-12-04 12:50:29 - transform_process - INFO - Inserite 50,322 righe nella tabella 'gemma' Core. 2025-12-04 12:50:29 - transform_process - INFO - Trasformazione Gemma completata in 5.71 secondi. Status: SUCCESS 2025-12-04 12:50:29 - transform_process - INFO - --- Fine Trasformazione Gemma (Status: SUCCESS) --- 2025-12-04 12:50:29 - transform_process - INFO - Processo di trasformazione terminato (blocco finally). Durata: 5.75 secondi. ============================================================ : DataHub - Gestione CoreDB = : Data: 04/12/2025 12:50:23 = ============================================================ TRASFORMAZIONE DATI (Staging -> Core) ------------------------------\n Database target: C:\PYTHON\DataHub\db\temp.db \n============================== RISULTATI TRASFORMAZIONE (Staging -> Core) ============================== - Prodotti: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Emesso: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Diritti: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Cast: \u2139\ufe0f SKIPPED - Saltata a causa di fallimento precedente. - Gemma: \u2705 SUCCESS - Trasformazione Gemma completata. - Boxoffice: \u2139\ufe0f SKIPPED - Dati Boxoffice gestiti nella fase Consolidate. - Veg: \u2139\ufe0f SKIPPED - Logica transform_veg sospesa/non applicabile qui. ------------------------------ \n\u2705 Trasformazione completata con successo per tutte le tabelle eseguite/applicabili. Tempo totale trasformazione: 5.75 secondi. ==============================\n Traceback (most recent call last): File "C:\PYTHON\DataHub\project_utils\export_production_db.py", line 555, in run print(f" - {source} \u2192 {target}") ~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\Lib\encodings\cp1252.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] ~~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ UnicodeEncodeError: 'charmap' codec can't encode character '\u2192' in position 21: character maps to ============================================================ : DataHub - Gestione CoreDB = : Data: 04/12/2025 12:50:29 = ============================================================ EXPORT DATABASE PRODUZIONE ------------------------------\n ====================================================================== EXPORT INCREMENTALE DAILY (Direct Update) ====================================================================== Inizio: 2025-12-04 12:50:29 Tabelle da aggiornare: - gemma ERRORE FATALE: 'charmap' codec can't encode character '\u2192' in position 21: character maps to \n\u274c Export database produzione fallito. Controllare i log sopra. ================================================================================ DATAHUB - DAILY REFRESH ================================================================================ Database temporaneo: C:\PYTHON\DataHub\db\temp.db Database produzione: \\Mediaset.it\share\Indirizzo_controllo_risorse\SOFTWARE\DataHub\DataHub.db Data/Ora inizio: 2025-12-04 12:50:17 Totale step da eseguire: 4 ================================================================================ ================================================================================ STEP 1/4: IMPORTAZIONE DATI GIORNALIERI (GEMMA) ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py import --gemma -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 1/4 COMPLETATO in 0m 3s: IMPORTAZIONE DATI GIORNALIERI (GEMMA) ================================================================================ ================================================================================ STEP 2/4: IMPORTAZIONE DATI GIORNALIERI (OSSERVATORIO) ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py import --osservatorio -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 2/4 COMPLETATO in 0m 2s: IMPORTAZIONE DATI GIORNALIERI (OSSERVATORIO) ================================================================================ ================================================================================ STEP 3/4: TRASFORMAZIONE DATI GIORNALIERI (GEMMA) ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py transform --gemma -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [OK] STEP 3/4 COMPLETATO in 0m 6s: TRASFORMAZIONE DATI GIORNALIERI (GEMMA) ================================================================================ ================================================================================ STEP 4/4: EXPORT INCREMENTALE DATABASE PRODUZIONE ================================================================================ Comando: C:\Users\Mauro Gagliardi\AppData\Local\Programs\Python\Python313\python.exe C:\PYTHON\DataHub\main.py export-daily -------------------------------------------------------------------------------- -------------------------------------------------------------------------------- [ERRORE] STEP 4/4 FALLITO dopo 0m 0s: EXPORT INCREMENTALE DATABASE PRODUZIONE Codice di errore: 1 ================================================================================ [ERRORE] PROCESSO INTERROTTO A CAUSA DI ERRORE. ================================================================================ PROCESSO DAILY REFRESH TERMINATO CON ERRORI Tempo totale di esecuzione: 0m 12s Data/Ora fine: 2025-12-04 12:50:30 ================================================================================ ============================================================================ Daily Refresh terminato - Premere un tasto per chiudere la finestra ============================================================================