La classificazione documentale (document classification/clustering) è un processo studiato all’interno dell’elaborazione del linguaggio naturale che si occupa di assegnare una o più categorie a un elemento detto documento. Come di consueto riporto la citazione da una delle fonti più cliccate del web, wikipedia:

Document classification/categorization is a problem in information science. The task is to assign an electronic document to one or more categories, based on its contents. Document classification tasks can be divided into two sorts: supervised document classification where some external mechanism (such as human feedback) provides information on the correct classification for documents, and unsupervised document classification, where the classification must be done entirely without reference to external information. There is also a semi-supervised document classification, where parts of the documents are labeled by the external mechanism.

In breve, dato un documento, questo viene analizzato e al termine del processo si ha un dato che può essere, per esempio, “Spam”.

La classificazione documentale ha diverse applicazioni e, l’esempio arriva non a caso, una delle prime forme di applicazione pseudo-commerciale è stata proprio la classificazione di e-mail come spam o non-spam. Tra i più famosi e usati troviamo proprio “Spambayes”, cioè un classificatore che utilizza l’approccio Naive Bayes per la classificazione “raffinabile” delle e-mail di spam. Ma procediamo con ordine.

Innanzi tutto, come è composto un processo di classificazione documentale? Esistono sostanzialmente pochi macroblocchi:

- Scelta del modello di classificatore più adatto al problema
- Addestramento (Training) del classificatore
- Implementazione/Integrazione del classificatore nel sistema che sfrutta la classificazione
- Raffinamento dinamico (dipendente dal modello) del classificatore

Il primo problema da affrontare è appunto quello della scelta di un buon tipo o approccio alla classificazione. Esistono vari metodi in letteratura ma quelli più usati e più affidabili sono sostanzialmente pochi. Tra questi troviamo il metodo statistico basato sulle reti bayesiane, cioè il classificatore ingenuo di Bayes (Naive Bayes), il metodo a vettori di supporto, cioè SVM (Support Vector Machine), le reti neurali e i metodi geometrici che rappresentano i documenti nello spazio e calcolano le aree di apparteneza (e.g. distanza di Hamming).

Ognuno di questi classificatori ha vantaggi e svantaggi che possono incidere sulla scelta. Per esempio il metodo che sfrutta l’approccio statistico bayesiano è sufficientemente semplice da implementare, ha buone prestazioni in termini di calcolo computazionale ed è facilmente raffinabile dinamicamente. Allo stesso tempo però, il termine Naive, viene proprio dal fatto che si tratta di un classificatore ingenuo, che non è in grado, da solo, di associare valori statistici di relazione tra parole che invece, nella conoscenza comune, potrebbero averle (e.g. “Fotosintesi” e “Clorofilliana”). Per portare un altro esempio, le macchine a vettori di supporto, si sono rivelate essere tra le migliori in termini di affidabilità e prestazioni, in grado di modellare anche non linearità con sufficiente semplicità, tuttavia l’implementazione dei metodi di addestramento che prevedono la risoluzione di sistemi lineari o linearizzati è meno semplice rispetto all’esempio precedente in quanto si rivela necessario applicare metodi matematici come simplesso, moltiplicatori di Lagrange, etc. Tra gli altri possibili “difetti” delle SVM troviamo anche il fatto che questo tipo di classificatore non nasce con lo scopo di modellare uno spazio multi-categoria, ma di trovare la massima distanza tra due categorie. In realtà esistono vari approcci (one vs one & one vs many) per rendere anche i classificatori SVM multi-classe.

Supponendo di avere scelto il modello più adatto, il passo successivo è quello della pre-elaborazione (pre-processing) dei dati. Non solo i documenti in ingresso non possono essere elaborati così come sono, ma devono anche subire varie modifiche affinché i risultati della classificazione siano ottimali. Per esempio, il testo che viene elaborato, soprattutto in fase di addestramento del sistema, dovrebbe essere ripulito da tutte le parole che non apportano alcun valore alla categorizzazione del documento, quali articoli, congiunzioni, avverbi, etc. Il fatto che in un documento sia ripetuta la parola “quando” non fa sì che quel testo sia più vicino a un testo di sport o di economia. Un’altra elaborazione che è possibile fare è lo “stemming” ovvero la rimozione degli elementi non significativi in termini di classificazione dalle parole. Se per esempio in una email di spam, il verbo “comprare” è usato molto spesso, questo si può presentare in varie forme “Compra questo prodotto”, “prova a comprare il nostro prodotto”, “hai già comprato il nostro prodotto?”, etc. Se per un essere umano la relazione tra queste parole sembra ovvia, per una macchina “compra” e “comprato” sono due parole differenti finché non venga fornita una informazione di relazione. Lo stemming andrebbe a rimuovere “a” da “compra” e “ato” da “comprato”, lasciando solo l’elemento realmente significativo del verbo comprare. Chiaramente questo tipo di processi è dipendente dalla linuga e introduce un ulteriore livello di difficoltà nell’addestramento di un sistema.

La pre-elaborazione può essere considerata come parte integrante del processo complessivo di addestramento che segue il modello canonico di tutti i sistemi addestrabili (pre-processing-training-check-loop). L’addestramento vero e proprio può avvenire in vari modi e generalmente si divide in supervisionato e non supervisionato. Senza scendere nel dettaglio, prendendo a esempio il classificatore Naive Bayes, l’addestramento consiste nel calcolare le tabelle di probabilità bayesiane tramite le quali sia possibile calcolare il valore di appartenenza di un documento a una certa categoria. L’addestramento, generalmente, viene fatto mediante dati etichettati cioè a partire da un insieme di documenti di cui si conosce la categoria di appartenenza. Questo non dovrebbe stupire, in fondo, se a un bambino si spiega cosa sia un testo di storia, non potrà mai riconoscerne uno se prima non sa cosa sia la storia stessa. Per le macchine il principio è più o meno lo stesso.

Particolare attenzione va rivolta alla trasformazione dei dati. Uno dei primi problemi in cui ci si imbatte è la rappresentazione dei dati. Il principio è che le macchine ragionano per numeri e quindi i dati, sebbene siano testo, vanno normalmente trasformati in numeri, vettori, matrici, etc. Un documento viene spesso trasformato in un vettore binario che fa riferimento a un vocabolario. Per esempio, se il vocabolario di riferimento fosse [io, pasta, cane, pallone, carta] e la frase fosse “io mangio la pasta, ma il cane no” il documento sarebbe rappresentato dal vettore binario [1,1,1,0,0]. Alcuni tipi di classificatore permettono di utilizzare delle versioni più complesse di rappresentazione, per esempio quelle che utilizzano valori continui e non binari, derivate dall’analisi TF-IDF (Term Frequency – Inverse Document Frequency). Quest’utlima tecnica è nata principalmente per calcolare la rilevanza di una certa parola all’interno di un contesto che può essere un singolo documento o un insieme di documenti e ha trovato larga applicazione nei motori di ricerca e negli algoritmi keyword-based.

Una volta addestrato e verificato il sistema, il passo successivo è quello di integrare il classificatore con sistemi che ne devono sfruttare le funzionalità e possibilmente devono essere in grado di fornire ulteriori dati per il raffinamento della classificazione. Un esempio è proprio “SpamBayes” che a ogni mail arrivata, determina mediante il comportamento dell’utente (cancellazione, segnalazione esplicita di spam, lettura e archiviazione) se il campione in oggetto va utilizzato o meno per raffinare il classificatore.

In conclusione, la classificazione documentale è un problema complesso che dipende da moltissimi fattori; uno su tutti è l’insieme dei documenti di addestramento che dovrebbe essere pulito, robusto e completo. Le applicazioni della classificazione documentale sono molteplici e possono rendere molto più efficienti e funzionali vari compiti attualmente, generalmente svolti “a mano”. Alcuni esempi possono proprio essere la classificazione di spam per le caselle e-mail (spam filter), il raggruppamento di documenti per la ricerca veloce (fast search), il reperimento di informazioni chiave da grossi gruppi di documenti (information retrieval), etc. Tuttavia l’utilizzo dei classificatori non finisce qui. In realtà la matematica applicata ai classificatori è la stessa che tratta anche dati differenti per cui è possibile (come già avviene) pensare di trasformare anche altri dati nelle forme classificabili. Basandosi su questo approccio è possibile pensare anche a sistemi esperti che siano in grado di selezionare dei sintomi e effettuare una prima diagnosi dei pazienti… “Sistemi esperti”… sembrano una cosa futuristica e invece si tratta di cose che esistono già da ben più di 20 anni e che hanno largamente fatto parlare di loro in termini di fattibilità, applicabilità ed etica… ma i tempi e i mezzi a nostra disposizione oggi sono fortemente cambiati.
Lo scopo di questo articolo era quello di scendere maggiormente nel dettaglio in una delle branche presentate con il precedente articolo introduttivo sulla NLP e di presentare alcune parole chiave, come per esempio Naive Bayes, che in futuro verranno approfondite. Nel frattempo spero che questa breve e veloce overview sia stata utile a chi, anche non informatico, si avvicina con interesse a quest’area di studio e ricerca.