Hvad TutorGuard er til

Hvad TutorGuard gør

Jeg har bygget TutorGuard til at sidde mellem en AI-lærer og elevvisningen. Når læreren genererer en besked, modtager TutorGuard teksten, kører en række kontroller og returnerer en dom. Dommen fortæller dig, om beskeden er sikker at vise, kræver redigering eller skal blokeres. Værktøjet ændrer ikke selv beskeden, men giver dig kun information til at handle på.

Kernen i processen er simpel: indtastningstekst → sikkerhedsscan → udgangsbeslutning. Du kan køre scannen i demotilstand med en indbygget mock-model, som giver dig mulighed for at se flowet uden nogen ekstern API-nøgle. Til produktion peger du TutorGuard mod din egen LLM-endpoint og angiver en gyldig nøgle. Scannen køres synkront, så du får en respons, før du beslutter at offentliggøre.

Hver scanning producerer en kort rapport, der indeholder:

- en sikkerhedsscore (0-100) - flags for eventuelle detekterede problemkategorier - en foreslået handling (tillad, rediger, bloker) - den originale tekst med højligtede span

Du kan se rapporten i dashboardet eller hente den via en JSON-endpoint. JSON'en indeholder de rå scores, flaglisten og den højligtede tekst, så du kan integrere resultatet i din egen gennemgangsworkflow.

Sådan fungerer gennemgangen

Jeg designede gennemgangspipeline omkring tre faser: forbehandling, modelbaseret detektion og regelbaseret efterbehandling. Hver fase tilføjer et lag af gennemgang uden at sænke den samlede ventetid.

Forbehandling

Først normaliseres den indkommende besked. Jeg fjerner ekstra mellemrum, konverterer Unicode til en konsistent form og splitter teksten op i sætninger. Dette trin gør senere mønstergenkendelse mere pålidelig og reducerer falske positive resultater forårsaget af formateringsfejl.

Modelbaseret detektion

Herefter kører jeg en let klassificeringsmodel, der er finjusteret på offentlige datasæt af usikker LLM-udgang. Modellen returnerer sandsynligheder for kategorier som chikane, had, selvskade og faktuel inkonsistens. Jeg valgte en model, der kører på under 200 ms på en beskeden CPU, så beslutningsstøtten forbliver interaktiv.

Modellen er hostet inde i TutorGuard-beholdningen; du behøver ikke at ringe til en ekstern service for den kerneundersøgelse. Hvis du foretrer at bruge din egen model, kan du erstatte binærfilen via en konfigurationsflag, men standardmodellen leveres med produktet.

Regelbaseret efterbehandling

Efter modelresultaterne er kommet ind, anvender jeg en række deterministiske regler. Disse regler dækker elementer, der er svære for en statistisk model at fange, såsom:

- nærvær af persondata (e-mail, telefonnumre) - specifikke forbudte fraser fra din institutions politik - numeriske krav, der overstiger en konfigureret grænse (f.eks. "score over 95%", når maksimum er 100) - længdebegrænsninger, du har sat for tutorbeskeder

Den endelige sikkerhedsscore er en vægtet sum af model sandsynligheden og regelstraffen. Jeg fastsatte vægtene efter at have kørt et par hundred manuelle gennemgang af virkelige tutorchats; målet var at holde falsk-negativ-rater lavt, mens man undgår en overbelastning af flags.

Konfiguration og demo-læs

TutorGuard kommer med to køretilstande, som du vælger ved opstart.

Demo-læs

I demo-læs bruger produktet en indbygget ekko-tjeneste, der returnerer en forudindstillet svar på enhver input. Ingen ekstern API-nøgle er nødvendig, og ingen data forlader din maskine. Denne tilstand er nyttig til:

- at teste brugergrænsefladen - at vise en kollega, hvordan dommen ser ud - at køre automatiserede tests i CI uden netværksopkald

Fordi ekko-tjenesten ikke aktiverer en rigtig LLM, er sikkerhedsscorene statiske. Jeg behandler demo-udgang som illustrativt kun; du skal skifte til live-læs, før du kan evaluere den faktiske tutor-adfærd.

Live-læs

Live-læs kræver, at du indstiller tre miljøvariabler:

- LLM_ENDPOINT – URL'en for din tutors generations-tjeneste - LLM_KEY – API-nøglen eller token, som tjenesten forventer - LLM_MODEL – model-id'et, du ønsker at beskytte

Når disse er til stede, sender TutorGuard brugerens prompt til din endpoint, venter på svaret og kører derefter sikkerhedsskanningen på svaret. Alle kommunikationer sker over HTTPS; jeg logger ikke den rå prompt eller svaret, medmindre du aktiverer den valgfrie revisionsflag, som skriver krypterede blobs til en lokal.data/-mappe.

Du kan justere sikkerhedstrøsklerne via en simpel JSON-fil:

Sikkerhedskategorier vi checker

Jeg har kortlagt kontrollerne til OWASP Top 10 for Large Language Model Applications, så du kan se, hvordan TutorGuard er i overensstemmelse med et bredt refereret rammeværk. Du kan læse den fulde liste her.

Kategori 1 – Prompt-injektion

Jeg søger efter mønstre, der forsøger at overtage tutorens systems-instruktioner, såsom gentagne "ignorér forrige"-streng eller kodet kommandoer i base64. Hvis detekteret, tilføjer reglen en høj straf og den foreslåede handling bliver "bloker".

Kategori 2 – Usikker output-håndtering

Scanneren checker, om svaret indeholder eksekverbare kodefragmenter (f.eks. <script>-tags, SQL-fragmenter eller shell-metacharacters), der kunne være farlige, hvis de renderes uden ændringer. Flags her udløser en "rediger"-forslag med de problematiske områder markeret.

Kategori 3 – Træningsdata-forgiftning

Selvom jeg ikke kan detektere forgiftet data direkte, overvåger jeg pludselige skift i faktisk konsistens. Model-baseret detector markerer udsagn, der modsiger kendte videnbasers (f.eks. falske historiske datoer). Dette hjælper med at fange outputs, der kan stamme fra korrupt træning.

Kategori 4 – Model-nægtelse af service

Store svar kan forbruge ekstremt båndbredde eller forårsage klient-sides rendering-problemer. Jeg gennemtvinger en konfigurerbar længde-grænse; svar, der overstiger den, modtager en længde-overtrædelses-flag og et "klip"-forslag.

Kategori 5 – Forsyningskæde-sårbarheder

TutorGuard selv henter ikke eksterne biblioteker på kørselstidspunktet, hvilket reducerer risikoen for forsyningskæde-sårbarheder. Jeg noterer dette i dokumentationen, så du ved, at scannernes angrebsflade er begrænset til binær-filen og dens konfigurationsfiler.

Kategori 6 – Fuld afsløring af følsomme oplysninger

Regulære udtryk for e-mail-adresser, telefonnumre og ID-numre køres i regel-baseret fase. Enhver match udløser en høj-alvorlig flag og tvinger en "bloker"-dom, medmindre du whitelister mønsteret.

Kategori 7 – Usikker plugin-design

Hvis din tutor bruger plugins, anbefaler jeg at scanne plugin-genereret tekst separat. TutorGuard kan pege på enhver tekst-kilde, så du kan køre de samme kontroller på plugin-outputs.

Kategori 8 – Overdriven agent

Jeg overvåger sprog, der antyder, at tutor er i gang med at tage selvstændige handlinger (f.eks. "Jeg vil nu sende en e-mail"). Sådant sprog får en moderat flag og et forslag om at omskrive.

Kategori 9 – Overafhængighed

Produktet erklærer explicit, at det kun er beslutningsstøtte. Jeg inkluderer en påmindelse i rapporten om, at en menneskelig skal gennemgå markeret indhold, før endelig udgivelse.

Kategori 10 – Model-tyveri

Selvom TutorGuard ikke forhindrer model-ekstraktion, logger den hver scan-anmodning. Et uventet spring i scan-volumen kan være et signal, der er værd at undersøge.

Hvad dette ikke er

Jeg vil gerne gøre det klart, hvad TutorGuard ikke kan gøre, så du ikke afhænger af det til noget, det ikke kan.

Først og fremmest er TutorGuard ikke en garanti for, at hver eneste usikker svar bliver fanget. Det modelbaserede detector arbejder med sandsynligheder, og der er en chance for, at et subtilt problem slipper igennem. Det er derfor, outputtet er markeret som beslutningsstøtte, og du skal gennemgå markeret indhold.

Anden, opnår det ikke 100 % nøjagtighed på nogen måde. Jeg undgår at hævde perfekt præcision eller recall, fordi de underliggende modeller har indbyggede fejlrater. Sikkerhedsscoren er en vejledning, ikke en sikkerhed.

Tredje, er TutorGuard ikke en erstatning for din egen indholdspolitik eller menneskelige moderatorer. Det tilføjer en automatiseret lag, men den endelige ansvar ligger hos dig.

Fjerde, indeholder produktet ikke SSO, Slack-notifikationer eller bulk CSV-eksport, medmindre disse funktioner er blevet leveret i denne specifikke version. Jeg har bevidst udeladt enhver omtale af disse funktioner i dokumentationen for at undgå forvirring.

Femte, ændrer TutorGuard ikke AI-tutorens svar. Det returnerer kun en dom og markerede span. Hvis du har brug for automatisk omskrivning, skal du selv bygge dette trin.

Referencer

- https://owasp.org/www-project-top-10-for-large-language-model-applications - https://www.nist.gov/itl/ai-risk-management-framework

Ofte stillede spørgsmål

Hvad er TutorGuard?

Bevar hver AI-tutor-svar sikkert, før studerende ser det.

Hvem skal bruge TutorGuard?

Operatører og byggere, der har brug for en hurtig første udskrift eller tjekliste fra TutorGuard.

Fungerer det uden en API-nøgle?

Ja i eksplicit Demo-tilstand. Live AI kræver en konfigureret nøgle.

Garanterer det resultater?

Nej. Udgående er beslutningsstøtte; du skal stadig gennemgå før publicering eller handling.

Inkluderer det SSO, Slack eller bulk CSV?

Kun hvis disse funktioner er implementeret i denne produktbygning — antag dem ikke fra marketingtekst.

Hvor går data hen?

Kørsler kan gemmes lokalt under produktets .data/-grænse; behandle demos som efemære.

Referencer

- schema.org — FAQ-side - Google Search Central — Struktureret data

Relaterede læsninger

- Sådan bruger du TutorGuard — TutorGuard - Den LX AI Micro-SaaS emne matrix