I modelli decisionali dell'IA entrano nel campo della moderazione dei contenuti

Yesterday 16:40

L'intelligenza artificiale si sta espandendo in un'altra area delle piattaforme digitali, poiché i modelli decisionali vengono sempre più sviluppati per la moderazione dei contenuti in tempo reale. L'azienda statunitense di IA Musubi ha introdotto PolicyLM-1.7B, un modello leggero progettato per valutare i messaggi online rispetto alle politiche di moderazione scritte senza richiedere un nuovo ciclo di addestramento ogni volta che tali regole vengono modificate.

Rilasciato con pesi aperti, il modello con 1,7 miliardi di parametri è progettato per consentire agli sviluppatori e agli operatori delle piattaforme di eseguirlo e adattarlo sulla propria infrastruttura. Il suo scopo principale è tradurre le regole di moderazione scritte in linguaggio ordinario in classificazioni che possono essere applicate direttamente ai contenuti generati dagli utenti.

Musubi afferma che PolicyLM-1.7B può prendere decisioni di moderazione in tempo reale, con l'azienda che riporta un tempo di elaborazione mediano di circa 35 millisecondi per messaggi brevi su una GPU NVIDIA L4 e circa 22 millisecondi su un H100 nei suoi test. La descrizione più ampia del prodotto mira a decisioni in meno di 50 millisecondi.

Il modello si differenzia dai classificatori di moderazione convenzionali consentendo agli operatori di fornire le proprie istruzioni politiche durante l'uso. Ciò significa che quando una piattaforma modifica le proprie regole, i suoi team possono modificare la politica invece di riaddestrare il modello sottostante da zero.

Questa flessibilità potrebbe essere particolarmente rilevante per le piattaforme online che affrontano standard di moderazione in rapida evoluzione. I team di prodotto e di fiducia e sicurezza possono definire categorie e regole in base alle proprie esigenze specifiche, mentre il modello produce punteggi che indicano se un messaggio rientra in quelle categorie.

I modelli decisionali hanno attirato crescente attenzione nell'industria dell'intelligenza artificiale perché si concentrano sulla produzione di decisioni o probabilità piuttosto che sulla generazione di testo lungo. Limitando l'output a categorie predefinite, questi sistemi possono potenzialmente operare più rapidamente e con meno risorse informatiche rispetto ai modelli di linguaggio di grandi dimensioni di uso generale.

PolicyLM-1.7B può anche essere utilizzato con una tassonomia di sicurezza predefinita contenente 23 categorie, tra cui violenza, molestie, minacce, frodi, violazioni della privacy e altre forme di contenuti potenzialmente dannosi. Musubi afferma che il modello è stato valutato in 19 lingue, anche se i test delle politiche personalizzate hanno principalmente coinvolto politiche scritte in inglese.

La tecnologia si basa su lavori precedenti nell'IA orientata alle decisioni. Il cofondatore di Musubi e chief AI officer Filip Jankovic ha collegato l'approccio dell'azienda a un progetto del 2024 che coinvolge GLiNER, sviluppato prima dell'attuale ondata di interesse per i modelli decisionali. L'azienda ora considera la moderazione dei contenuti come un'applicazione pratica per lo stesso approccio sottostante.

Allo stesso tempo, gli sviluppatori del modello riconoscono che la tecnologia è destinata a scenari di moderazione specifici piuttosto che a ogni tipo di decisione di sicurezza. La documentazione del modello nota che è progettato per la classificazione rapida di messaggi di testo individuali e non è destinato a servire come unica salvaguardia per casi particolarmente sensibili come la sicurezza dei minori o l'autolesionismo.

Il rilascio avviene mentre le piattaforme digitali affrontano volumi crescenti di contenuti generati dagli utenti e una pressione crescente per far rispettare regole sempre più dettagliate. Gli strumenti di moderazione automatizzati possono aiutare a elaborare grandi quantità di materiale, mentre i team umani rimangono responsabili della definizione delle politiche, della revisione dei casi difficili e della determinazione di come applicare le decisioni di enforcement.

L'approccio a pesi aperti di Musubi consente anche agli sviluppatori di esaminare e distribuire il modello autonomamente anziché fare affidamento esclusivamente su un servizio di moderazione ospitato. Tuttavia, le cifre di prestazione pubblicate dall'azienda provengono dalle proprie valutazioni, e la documentazione del modello afferma che non è ancora stato testato su traffico reale, il che significa che le sue prestazioni nel mondo reale potrebbero differire dai risultati di benchmark.

Il lancio illustra un cambiamento più ampio nello sviluppo dell'IA, con modelli più piccoli e specializzati progettati per eseguire compiti definiti in modo ristretto in modo rapido ed efficiente. Per la moderazione dei contenuti, la combinazione di regole personalizzabili, classificazione rapida e distribuzione locale potrebbe fornire alle piattaforme un altro strumento per gestire il flusso sempre più complesso di contenuti online.