Kritika

Breve descrizione degli aspetti di innovazione che caratterizzano il business dell’impresa ATTIVITA’ INNOVATIVA DI KRITIKAIl contenuto tecnologico innovativo di Kritika è descritto nei seguenti punti.Acquisizione Fonti Web Tramite sistema di crawling proprietario sono acquisiti gli articoli dalle fonti web monitorate. Il motore di ricerca “scansiona” periodicamente un parco fonti online di oltre 5 mila siti italiani ed estrae i contenuti “ripuliti” dai tag HTML di formattazione, dalle pubblicità, dai banner vari e li riformatta secondo lo schema di classificazione titolo/testo/autore/data/parole chiave, producendo in output un file json per ogni articolo.Acquisizione Fonti Stampa Tramite sistemi di analisi proprietari dei Pdf in formato stampa delle testate giornalistiche cartacee (quotidiani e periodici) e tramite un sistema di matching che effettua la scansione e il recupero dei contenuti dai file (tipicamente in formato XML) estratti dai sistemi editoriali delle testate, il software ricompone in formato digitale gli articoli delle testate. Il software produce in output e in formato json un file per ogni articolo formattati secondo lo schema titolo/testo/autore/data/parole chiave, esattamente come per le testate online. In questo modo è in grado di costruire un database proprietario dei contenuti “omogeneizzando” gli articoli presi dalle fonti online con quelli proveniente dalle fonti offline (stampa).Ritagli Stampa Interattivi Al contrario di tutti i provider di rassegna stampa e sistemi di monitoraggio che forniscono i “ritagli” in formato immagine (quindi delle “foto” dei giornali) per la lettura degli articoli stampa, Kritika ha sviluppato un sistema innovativo proprietario per la ricomposizione in formato HTML dinamico degli articoli dei giornali, in modo che appaiano formattati esattamente come sulla versione stampata, ma generati “on the fly” in formato digitale. Questa modalità è particolarmente vantaggiosa: i contenuti sono molto più “leggeri” da scaricare, si adattano allo schermo del lettore, sono “multimediali”, quindi possono contenere link ipertestuali ad altri contenuti.Utilizzo di Database Documentali non Relazionali La piattaforma software deve gestire con efficienza massima due “problematiche”. 1. Indicizzazione full text per supportare ricerche per parole chiave mirate su decine di milioni di articoli 2. Supporto per strutture dati flessibili, meglio se “ad oggetti” Per soddisfare queste due esigenze si sono scelti due database non relazionali ormai molto diffusi: • ElasticSearch è utilizzato per salvare, indicizzare e ricercare gli articoli. Questo engine permette di effettuare ricerche su indici testuali fino a 50-60 Giga di dati, ovvero 20-30 milioni di articoli, in tempi di centesimi di secondo su hardware standard • MongoDB è utilizzato per salvare e archiviare “staticamente” tutte gli articoli e per salvare tutte le anagrafiche (esempio persone, aziende), permettendo di modificare facilmente la struttura dei dati aggiungendo campi/oggetti ad un record in modo molto agevole.Classificazione Notizie tramite Machine Learning e Intelligenza Artificiale Tutti gli articoli prelevati dalle fonti online e offline sono trattati da un software di machine learning proprietario dedicato alla classificazione dei contenuti secondo le seguenti tassonomie: • eventi (es: indagini, fusioni acquisizioni, risultati finanziari) / reati (es: bancarotta, furto, evasione fiscale) – sono classificati oltre 120 reati • settore merceologico (energia, alimentare, automotive) – sono classificati oltre 25 settori merceologici • tag (innovazione, sostenibilità, ambiente)I classificatori sono addestrati tramite l’analisi dei contenuti già classificati dai redattori e “imparano” selezionando le parole / frasi più rilevanti per ogni categoria basandosi sulla frequenza delle stesse negli articoli rilevanti, rispetto alla frequenza generale nella base dati complessiva. Per questo tipo di analisi vengono sfruttate le API del database ElasticSearch che forniscono informazioni molto dettagliate sulla frequenza delle parole / espressioni su insiemi di documenti rispetto all’indice generale (tf/idf).La pipeline di lavorazione dei contenuti sfrutta in seguito software esterni di intelligenza artificiale e analisi semantica dei contenuti per assolvere a due ulteriori compiti: • rilevazione delle località in cui è collocata una notizia • identificazione delle persone citate, delle aziende citate e delle organizzazioni citate nell’articolo In questa prima fase è utilizzato il sistema Cogito di Expert System in modalità API cloud per l’arricchimento semantico: si tratta della piattaforma più diffusa e con maggiore “storia” alle spalle per l’analisi dei documenti testuali. La pipeline di Kritika si deve “agganciare” alle API di Cogito ed estrarre le informazioni necessarie per l’identificazione delle località e dei soggetti e aggiungere al proprio formato di dati.Aggregazione Notizie tramite Algoritmi di Clustering Molto importante per poter ridurre drasticamente il tempo di lavorazione degli analisti è la fase di aggregazione degli articoli in notizie. Questo passo permette di ottenere un “cluster” unico che inglobi tutte le fonti che quotidianamente abbiano coperto la stessa notizia, per similitudine semantica. Sono sfruttati per questa operazione i migliori algoritmi di clustering non supervisionato applicato a documenti testuali già oggi diffusi. Scopo del lavoro del team IT di Kritika è la selezione degli algoritmi più performanti sia dal punto di vista della velocità di elaborazione sia dal punto di vista dell’efficienza nella fase di aggregazione (evitare che articoli troppo “diversi” per contenuto siano aggregati nello stesso cluster).Algoritmi di Matching Aziende e Persone Sulla base delle informazioni raccolte dalle fasi di ML e AI precedenti un software proprietario ha il compito di provare ad identificare univocamente le persone e le aziende citate eventualmente nell’articolo. Il software di matching lavora su un articolo basandosi su: località dell’evento, settore merceologico (per disambiguare le aziende), età e/o ruolo della persona eventualmente citata (per disambiguare le persone). Solo nel caso in cui il livello di confidenza dell’algoritmo automatico sia sufficientemente alto sulla persona o azienda candidata viene proposto un suggerimento al team di analisi che dovrà vagliare l’articolo.