Wat TutorGuard is

Wat TutorGuard doet

Ik heb TutorGuard gebouwd om tussen een AI-tutor en de studentenweergave te zitten. Wanneer de tutor een antwoord genereert, ontvangt TutorGuard de tekst, voert een reeks controles uit en retourneert een oordeel. Het oordeel vertelt u of het antwoord veilig is om weer te geven, bewerking nodig heeft of geblokkeerd moet worden. Het hulpmiddel wijzigt het antwoord zelf niet; het geeft u alleen informatie om op te handelen.

De kernlus is eenvoudig: invoertekst → veiligheidsscanner → uitvoerbeslissing. U kunt de scanner in demomodus uitvoeren met een ingebouwd mockmodel, waarmee u de stroom zonder externe API-sleutel kunt zien. Voor productie wijst u TutorGuard naar uw eigen LLM-eindpunt en biedt u een geldige sleutel. De scanner wordt synchroon uitgevoerd, zodat u een antwoord krijgt voordat u besluit om te publiceren.

Elke scan produceert een kort rapport dat het volgende bevat:

- een veiligheidsscore (0-100) - vlaggen voor eventueel gedetecteerde probleemcategorieën - een voorgestelde actie (toestaan, bewerken, blokkeren) - de oorspronkelijke tekst met gemarkeerde spans

Hoe de beoordeling werkt

Ik heb de beoordelingspijplijn ontworpen rond drie fasen: voorverwerking, modelgebaseerde detectie en regelgebaseerde nabewerking. Elke fase voegt een laag van onderzoek toe zonder de algehele latentie te vertragen.

Voorverwerking

Allereerst wordt het binnenkomende antwoord genormaliseerd. Ik verwijder extra spaties, zet Unicode om naar een consistente vorm en splits de tekst in zinnen. Deze stap maakt later patroonherkenning betrouwbaarder en vermindert valse positieven die worden veroorzaakt door opmaakfouten.

Modelgebaseerde detectie

Vervolgens voer ik een lichtgewicht classificatiemodel uit dat is gefinetuned op openbare datasets van onveilige LLM-uitvoer. Het model retourneert waarschijnlijkheden voor categorieën zoals intimidatie, haat, zelfbeschadiging en feitelijke inconsistentie. Ik koos een model dat in minder dan 200 ms op een bescheiden CPU draait, zodat de beslissingsondersteuningslus interactief blijft.

Het model wordt gehost in de TutorGuard-container; u hoeft geen externe service aan te roepen voor de kernscan. Als u uw eigen model wilt gebruiken, kunt u de binaire code vervangen via een configuratievlag, maar het standaardmodel wordt met het product geleverd.

Regelgebaseerde nabewerking

Nadat de modelscores binnen zijn, pas ik een set deterministische regels toe. Deze regels dekken items die moeilijk voor een statistisch model zijn om te detecteren, zoals:

- aanwezigheid van persoonsgegevenspatronen (e-mail, telefoonnummers) - specifieke verboden zinnen uit het beleid van uw instelling - numerieke claims die een geconfigureerde drempel overschrijden (bijv. "score boven 95%" wanneer het maximum 100 is) - lengtelimieten die u instelt voor tutorantwoorden

De definitieve veiligheidsscore is een gewogen som van de modelwaarschijnlijkheid en de regelpenalty's. Ik stelde de gewichten in na het uitvoeren van een paar honderd handmatige beoordelingen op echte tutorchats; het doel was om de valse-negatieve tarieven laag te houden en een overbelasting van vlaggen te voorkomen.

Configuratie en demomodus

TutorGuard wordt geleverd met twee runtime-modi die u bij het opstarten selecteert.

Demomodus

In demomodus gebruikt het product een ingebouwde echo-service die een vooraf ingestelde reactie retourneert voor elke invoer. Er is geen externe API-sleutel vereist en er verlaat geen gegevens uw machine. Deze modus is handig voor:

- het testen van de UI-stroom - het laten zien aan een collega hoe het verdict eruitziet - het uitvoeren van geautomatiseerde tests in CI zonder netwerkoproepen

Omdat de echo-service geen echte LLM aanroept, zijn de veiligheidsscores statisch. Ik beschouw demomodus-uitvoer als illustratief alleen; u moet overschakelen naar livemodus voordat u daadwerkelijk het tutorgedrag evalueert.

Livemodus

Livemodus vereist dat u drie omgevingsvariabelen instelt:

- LLM_ENDPOINT – de URL van uw tutors generatieservice - LLM_KEY – de API-sleutel of token die de service verwacht - LLM_MODEL – de model-id die u wilt beveiligen

Wanneer deze aanwezig zijn, stuurt TutorGuard de gebruikersprompt naar uw eindpunt, wacht op het antwoord en voert vervolgens de veiligheidsscan uit op dat antwoord. Alle communicatie gebeurt via HTTPS; ik log de onbewerkte prompt of reactie niet tenzij u de optionele audit-vlag inschakelt, die versleutelde blobs naar een lokale.data/-map schrijft.

U kunt de veiligheidsgrenzen aanpassen via een eenvoudig JSON-bestand:

Veiligheidscategorieën die we controleren

Ik heb de controles toegewezen aan de OWASP Top 10 voor Large Language Model Applications, zodat u kunt zien hoe TutorGuard overeenkomt met een breed erkend kader. U kunt de volledige lijst hier lezen.

Categorie 1 – Prompt-injectie

Ik zoek naar patronen die proberen de systeeminstructies van de tutor te overschrijven, zoals herhaalde 'negeer vorige'-tekenreeksen of gecodeerde opdrachten in base64. Als dit wordt gedetecteerd, voegt de regel een hoge straf toe en wordt de voorgestelde actie 'blokkeren'.

Categorie 2 – Onveilig uitvoerbeheer

De scanner controleert of het antwoord uitvoerbare codefragmenten bevat (bijv. <script>-tags, SQL-fragmenten of shell-metacharacters) die gevaarlijk kunnen zijn als ze letterlijk worden weergegeven. Vlaggen hier triggeren een 'bewerk'-suggestie met de problematische spans gemarkeerd.

Categorie 3 – Training data-vergiftiging

Hoewel ik geen vergiftigde gegevens rechtstreeks kan detecteren, monitor ik plotselinge verschuivingen in feitelijke consistentie. De model-gebaseerde detector markeert verklaringen die in strijd zijn met bekende kennisbases (bijv. valse historische datums). Dit helpt bij het detecteren van uitvoer die kan voortkomen uit gecorrumpeerde training.

Categorie 4 – Model-denial of service

Grote antwoorden kunnen excessief bandbreedte verbruiken of clientzijde-renderproblemen veroorzaken. Ik dwing een configureerbare lengtelimiet af; antwoorden die deze limiet overschrijden, krijgen een lengte-schendingsvlag en een 'trim'-suggestie.

Categorie 5 – Supply chain-kwetsbaarheden

TutorGuard zelf trekt geen externe bibliotheken aan tijdens runtime, waardoor het supply chain-risico wordt verminderd. Ik noteer dit in de documentatie, zodat u weet dat het aanvalsoppervlak van de scanner beperkt is tot de binaire en configuratiebestanden.

Categorie 6 – Openbaarmaking van gevoelige informatie

Reguliere expressies voor e-mailadressen, telefoonnummers en ID-nummers worden uitgevoerd in de regelgebaseerde fase. Elke overeenkomst verhoogt een hoge ernst-vlag en dwingt een 'blokkeren'-uitspraak tenzij u het patroon witte lijst.

Categorie 7 – Onveilig plug-in-ontwerp

Als uw tutor plug-ins gebruikt, raad ik aan om plug-in-gegenereerde tekst afzonderlijk te scannen. TutorGuard kan worden gericht op elke tekstbron, zodat u dezelfde controles kunt uitvoeren op plug-in-uitvoer.

Categorie 8 – Overmatige agent

Ik kijk naar taal die impliceert dat de tutor autonome acties neemt (bijv. 'Ik zal nu een e-mail verzenden'). Dergelijke formulering krijgt een matige vlag en een suggestie om te herschrijven.

Categorie 9 – Overmatige afhankelijkheid

Het product vermeldt expliciet dat het alleen beslissingsondersteuning is. Ik voeg een herinnering toe aan het rapport dat een menselijke beoordeling van gemarkeerde inhoud moet worden uitgevoerd voordat deze wordt vrijgegeven.

Categorie 10 – Model-diefstal

Hoewel TutorGuard model-extractie niet voorkomt, logt het elke scan-aanvraag. Een onverwachte piek in scanvolume kan een signaal zijn dat het onderzoek waard is.

Wat dit niet is

Ik wil duidelijk zijn over de beperkingen van TutorGuard, zodat u niet afhankelijk bent van iets wat het niet kan doen.

Ten eerste is TutorGuard geen garantie dat elke onveilige reactie wordt gevangen. De model-gebaseerde detector werkt op basis van waarschijnlijkheden; er is een kans dat een subtiele kwestie door het net glipt. Dat is waarom de uitvoer is gelabeld als beslissingsondersteuning en waarom u de gemarkeerde inhoud moet controleren.

Ten tweede bereikt het geen 100 % nauwkeurigheid op enige metriek. Ik vermijd het claimen van perfecte precisie of recall, omdat de onderliggende modellen inherente fouttarieven hebben. De veiligheidsscore is een gids, geen zekerheid.

Ten derde is TutorGuard geen vervanging voor uw eigen inhoudsbeleid of menselijke moderators. Het voegt een geautomatiseerde laag toe, maar de finale verantwoordelijkheid blijft bij u.

Ten vierde bevat het product geen SSO, Slack-notificaties of bulk-CSV-export, tenzij deze functies zijn uitgebracht in deze specifieke build. Ik heb opzettelijk elke vermelding van die mogelijkheden in de documentatie weggelaten om verwarring te voorkomen.

Ten vijfde wijzigt TutorGuard de reactie van de AI-tutor niet. Het retourneert alleen een oordeel en gemarkeerde spans. Als u automatische herschrijving nodig heeft, moet u die stap zelf bouwen.

Referenties

- https://owasp.org/www-project-top-10-for-large-language-model-applications - https://www.nist.gov/itl/ai-risk-management-framework

Veelgestelde vragen

Wat is TutorGuard?

Houd elke AI-tutorantwoord veilig voordat studenten het zien.

Wie moet TutorGuard gebruiken?

Operators en bouwers die een snelle eerste conceptversie of checklist van TutorGuard nodig hebben.

Werkt het zonder API-sleutel?

Ja in expliciete demomodus. Live AI vereist een geconfigureerde sleutel.

Garandeert het resultaten?

Nee. Uitvoer is beslissingsondersteuning; u moet nog steeds controleren voordat u publiceert of actie onderneemt.

Omvat het SSO, Slack of bulk CSV?

Alleen als deze functies zijn geïmplementeerd in deze productbuild — ga er niet vanuit dat ze aanwezig zijn vanwege marketingtekst.

Waar gaat de data naartoe?

Runs kunnen lokaal worden opgeslagen onder de .data/-grens van het product; behandel demos als ephemerisch.

Referenties

- schema.org — FAQPage - Google Search Central — Gestrukteerde gegevens

Probeer TutorGuard

Gerelateerde artikelen

- Hoe TutorGuard gebruiken — TutorGuard - De LX AI Micro-SaaS Topic Matrix