Cosa è TutorGuard

Cosa fa TutorGuard

Ho creato TutorGuard per posizionarlo tra un tutor AI e la vista dello studente. Quando il tutor genera una risposta, TutorGuard riceve il testo, esegue una serie di controlli e restituisce un verdetto. Il verdetto ti dice se la risposta è sicura da mostrare, necessita di editing o deve essere bloccata. Lo strumento non modifica la risposta stessa, fornisce solo informazioni per agire.

Il ciclo principale è semplice: testo di input → scansione di sicurezza → decisione di output. Puoi eseguire la scansione in modalità demo con un modello mock integrato, che ti consente di vedere il flusso senza alcuna chiave API esterna. Per la produzione, punti TutorGuard al tuo endpoint LLM e fornisci una chiave valida. La scansione viene eseguita in modo sincrono, quindi ottieni una risposta prima di decidere di pubblicare.

Ogni scansione produce un breve report che include:

- un punteggio di sicurezza (0-100) - flag per eventuali categorie di problemi rilevati - un'azione suggerita (consentire, modificare, bloccare) - il testo originale con span evidenziati

Puoi visualizzare il report nel dashboard o recuperarlo tramite un endpoint JSON. Il JSON include i punteggi grezzi, l'elenco dei flag e il testo con span evidenziati in modo da poter integrare il risultato nel tuo flusso di lavoro di revisione.

Come funziona la revisione

Ho progettato il pipeline di revisione intorno a tre fasi: pre-elaborazione, rilevamento basato su modello e post-elaborazione basata su regole. Ogni fase aggiunge uno strato di scrutinio senza rallentare la latenza complessiva.

Pre-elaborazione

Innanzitutto, la risposta in entrata viene normalizzata. Rimuovo gli spazi bianchi aggiuntivi, converto l'Unicode in una forma coerente e divido il testo in frasi. Questo passaggio rende più affidabile la corrispondenza dei modelli successivi e riduce i falsi positivi causati dalle peculiarità di formattazione.

Rilevamento basato su modello

Successivamente, eseguo un modello di classificazione leggero che è stato ottimizzato su set di dati pubblici di output LLM non sicuri. Il modello restituisce probabilità per categorie come molestie, odio, autolesionismo e incoerenza fattuale. Ho scelto un modello che si esegue in meno di 200 ms su un CPU modesto in modo che il ciclo di supporto alle decisioni rimanga interattivo.

Il modello è ospitato all'interno del contenitore TutorGuard; non è necessario chiamare un servizio esterno per la scansione principale. Se si preferisce utilizzare un proprio modello, è possibile sostituire il binary tramite una flag di configurazione, ma il modello predefinito è fornito con il prodotto.

Post-elaborazione basata su regole

Dopo che i punteggi del modello sono disponibili, applico un set di regole deterministiche. Queste regole coprono elementi che sono difficili da rilevare per un modello statistico, come:

- presenza di modelli di dati personali (indirizzo email, numeri di telefono) - frasi proibite specifiche dalla politica dell'istituzione - affermazioni numeriche che superano una soglia configurata (ad esempio, "punteggio sopra il 95%" quando il massimo è 100) - limiti di lunghezza che si impostano per le risposte dei tutor

Configurazione e modalità demo

TutorGuard viene fornito con due modalità di runtime che è possibile selezionare all'avvio.

Modalità demo

In modalità demo, il prodotto utilizza un servizio echo integrato che restituisce una risposta preimpostata per qualsiasi input. Non è richiesta alcuna chiave API esterna e non vengono inviati dati al di fuori della macchina. Questa modalità è utile per:

- testare il flusso dell'interfaccia utente

- mostrare a un collega come appare il verdetto

- eseguire test automatizzati in CI senza chiamate di rete

Poiché il servizio echo non invoca un vero e proprio LLM, i punteggi di sicurezza sono statici. Tratto l'output della demo come illustrativo solo; è necessario passare alla modalità live prima di valutare il comportamento effettivo del tutor.

Modalità live

La modalità live richiede di impostare tre variabili di ambiente:

- LLM_ENDPOINT - l'URL del servizio di generazione del tutor

- LLM_KEY - la chiave API o token che il servizio si aspetta

- LLM_MODEL - l'identificatore del modello che si desidera proteggere

Quando queste sono presenti, TutorGuard inoltra il prompt dell'utente al proprio endpoint, attende la risposta e quindi esegue la scansione di sicurezza sulla risposta. Tutta la comunicazione avviene tramite HTTPS; non registro il prompt o la risposta grezza a meno che non si abiliti il flag di audit facoltativo, che scrive blob crittografati in un directory.data/ locale.

È possibile regolare i limiti di sicurezza tramite un file JSON semplice:

{ "model_threshold": 0.78, "rule_penalty": 12, "max_length": 250, "block_on_personal_data": true } Modificare questi valori modifica il punteggio finale e l'azione suggerita senza dover ricostruire il contenitore.

categorie di sicurezza che controlliamo

Ho mappato i controlli sulla OWASP Top 10 per Applicazioni di Modelli di Linguaggio di Grande Portata in modo che tu possa vedere come TutorGuard si allinea con un framework ampiamente riconosciuto. Puoi leggere l'elenco completo qui.

Categoria 1 – Iniezione di prompt

Cerco modelli che tentano di sovrascrivere le istruzioni di sistema del tutor, come stringhe ripetute di "ignora precedente" o comandi codificati in base64. Se rilevato, la regola aggiunge una penalità alta e l'azione suggerita diventa "blocca".

Categoria 2 – Gestione della risposta non sicura

Lo scanner controlla se la risposta contiene snippet eseguibili (ad esempio tag script, frammenti SQL o metacaratteri shell) che potrebbero essere pericolosi se rappresentati in modo letterale. Le flag qui attivano una suggerimento di "modifica" con gli span problematici evidenziati.

Categoria 3 – Avvelenamento dei dati di formazione

Sebbene non possa rilevare direttamente i dati avvelenati, monitoro gli improvvisi cambiamenti di coerenza fattuale. Il rilevatore basato sul modello segnala le dichiarazioni che contraddicono le conoscenze note (ad esempio date storiche false). Ciò aiuta a catturare output che possono derivare da una formazione corrotta.

Categoria 4 – Negazione del servizio del modello

Le risposte grandi possono consumare eccessiva larghezza di banda o causare problemi di rendering lato client. Imposto un limite di lunghezza configurabile; le risposte che lo superano ricevono una flag di violazione della lunghezza e una suggerimento di "taglia".

Categoria 5 – Vulnerabilità della catena di approvvigionamento

TutorGuard stesso non richiama librerie esterne durante l'esecuzione, riducendo il rischio della catena di approvvigionamento. Nota questo nella documentazione in modo che tu sappia che la superficie di attacco dello scanner è limitata al binario e ai suoi file di configurazione.

Categoria 6 – Divulgazione di informazioni sensibili

Espressioni regolari per indirizzi email, numeri di telefono e numeri di identificazione vengono eseguite nella fase basata su regole. Qualsiasi corrispondenza solleva una flag di alta gravità e costringe un verdetto di "blocco" a meno che non si whilista il modello.

Categoria 7 – Progettazione del plugin non sicura

Se il tuo tutor utilizza plugin, ti consiglio di scansionare separatamente il testo generato dal plugin. TutorGuard può essere puntato a qualsiasi fonte di testo, quindi puoi eseguire gli stessi controlli sui output del plugin.

Categoria 8 – Agenzia eccessiva

Osservo il linguaggio che implica che il tutor sta assumendo azioni autonome (ad esempio "Ora invierò un'email"). Tale fraseologia ottiene una flag di moderata gravità e una suggerimento di riformulazione.

Categoria 9 – Eccessiva dipendenza

Il prodotto afferma esplicitamente di essere solo un supporto decisionale. Includo un promemoria nel rapporto che un umano dovrebbe esaminare il contenuto segnalato prima della pubblicazione finale.

Categoria 10 – Furto del modello

Cosa questo non è

Voglio essere chiaro sui limiti di TutorGuard in modo che non si facciano affidamento su di esso per qualcosa che non può fare.

Innanzitutto, TutorGuard non è una garanzia che ogni risposta non sicura verrà intercettata. Il rilevatore basato su modelli funziona con probabilità; c'è una possibilità che un problema sottile sfugga. È per questo che l'output è etichettato come supporto decisionale e perché è necessario esaminare il contenuto segnalato.

In secondo luogo, non raggiunge il 100% di accuratezza su alcun metrica. Evito di affermare una precisione o una recall perfetta perché i modelli sottostanti hanno tassi di errore intrinseci. Il punteggio di sicurezza è una guida, non una certezza.

In terzo luogo, TutorGuard non è un sostituto della propria politica di contenuto o dei moderatori umani. Aggiunge uno strato automatizzato, ma la responsabilità finale rimane con l'utente.

In quarto luogo, il prodotto non include SSO, notifiche Slack o esportazione bulk CSV a meno che queste funzionalità non siano state rilasciate in questa versione specifica. Ho omesso intenzionalmente qualsiasi menzione di queste funzionalità nella documentazione per evitare confusione.

In quinto luogo, TutorGuard non modifica la risposta del tutor AI. Restituisce solo un verdetto e span evidenziati. Se è necessario il rewriting automatico, è necessario costruire quel passaggio autonomamente.

Riferimenti

- https://owasp.org/www-project-top-10-for-large-language-model-applications - https://www.nist.gov/itl/ai-risk-management-framework

Domande frequenti

Cosa è TutorGuard?

Mantiene ogni risposta del tutor AI al sicuro prima che gli studenti la vedano.

Chi dovrebbe utilizzare TutorGuard?

Operatori e sviluppatori che necessitano di una prima bozza veloce o di una checklist da TutorGuard.

Funziona senza una chiave API?

Sì, in modalità Demo esplicita. L'AI live richiede una chiave configurata.

Garantisce i risultati?

No. Le uscite sono a supporto delle decisioni; si deve ancora revisionare prima di pubblicare o agire.

Include SSO, Slack o bulk CSV?

Solo se queste funzionalità sono implementate in questa versione del prodotto — non supporre di averle solo perché sono menzionate nel materiale di marketing.

Dove vanno i dati?

Le esecuzioni possono essere archiviate localmente all'interno del confine.data/ del prodotto; trattare le demo come effimere.

Sì, TutorGuard è progettato per essere conforme a queste linee guida e normative.

TutorGuard è progettato per essere conforme a queste norme e leggi, ma è responsabilità dell'utente assicurarsi che il suo utilizzo sia conforme.

Sì, TutorGuard può essere utilizzato con questi strumenti, ma assicurati di utilizzarli in conformità con le loro condizioni d'uso e le norme di sicurezza.

Riferimenti

- schema.org — FAQPage - Google Search Central — Structured data

Prova TutorGuard

Letture correlate

- Come utilizzare TutorGuard — TutorGuard - La matrice di argomenti LX AI Micro-SaaS