Wofür ist TutorGuard?

Was TutorGuard macht

Ich habe TutorGuard entwickelt, um zwischen einem KI-Tutor und der Studentensicht zu sitzen. Wenn der Tutor eine Antwort generiert, erhält TutorGuard den Text, führt eine Reihe von Überprüfungen durch und gibt ein Urteil zurück. Das Urteil teilt Ihnen mit, ob die Antwort sicher angezeigt werden kann, bearbeitet werden muss oder blockiert werden sollte. Das Tool ändert die Antwort selbst nicht; es gibt Ihnen nur Informationen, um entsprechend zu handeln.

Die Kernschleife ist einfach: Eingabetext → Sicherheitsüberprüfung → Ausgabebeschluss. Sie können die Überprüfung im Demomodus mit einem integrierten Mock-Modell durchführen, das es Ihnen ermöglicht, den Ablauf ohne externen API-Schlüssel zu sehen. Für die Produktion zeigen Sie TutorGuard auf Ihren eigenen LLM-Endpunkt und stellen einen gültigen Schlüssel bereit. Die Überprüfung wird synchron durchgeführt, sodass Sie vor der Veröffentlichung eine Antwort erhalten.

Jede Überprüfung produziert einen kurzen Bericht, der Folgendes enthält:

- einen Sicherheitsscore (0-100) - Flaggen für erkannte Problemkategorien - eine vorgeschlagene Aktion (zulassen, bearbeiten, blockieren) - den Originaltext mit hervorgehobenen Spannen

Wie die Überprüfung funktioniert

Ich habe die Überprüfungspipeline in drei Stufen entworfen: Vorverarbeitung, modellbasierte Erkennung und regelbasierte Nachverarbeitung. Jede Stufe fügt eine Schicht der Überprüfung hinzu, ohne die Gesamtlatenz zu verlangsamen.

Vorverarbeitung

Zuerst wird die eingehende Antwort normalisiert. Ich entferne extra Leerzeichen, konvertiere Unicode in eine konsistente Form und teile den Text in Sätze auf. Dieser Schritt macht das spätere Mustererkennen zuverlässiger und reduziert falsche Positivergebnisse, die durch Formatierungsfehler verursacht werden.

Modellbasierte Erkennung

Als Nächstes führe ich ein leichtes Klassifizierungsmodell aus, das auf öffentlichen Datensätzen von unsicheren LLM-Ausgaben fein abgestimmt wurde. Das Modell gibt Wahrscheinlichkeiten für Kategorien wie Belästigung, Hass, Selbstverletzung und faktische Inkonsistenz zurück. Ich wählte ein Modell, das auf einem bescheidenen CPU in unter 200 ms läuft, damit die Entscheidungsunterstützungsschleife interaktiv bleibt.

Das Modell wird innerhalb des TutorGuard-Containers gehostet; Sie müssen keinen externen Dienst für die Kernüberprüfung aufrufen. Wenn Sie Ihr eigenes Modell verwenden möchten, können Sie das Binärformat über eine Konfigurationsflag ersetzen, aber das Standardmodell wird mit dem Produkt ausgeliefert.

Regelbasierte Nachverarbeitung

Nachdem die Modellbewertungen vorliegen, wende ich eine Reihe deterministischer Regeln an. Diese Regeln decken Elemente ab, die für ein statistisches Modell schwer zu erfassen sind, wie z. B.:

- Vorhandensein von Personaldatensmustern (E-Mail, Telefonnummern) - spezifische verbotene Phrasen aus der Richtlinie Ihrer Institution - numerische Behauptungen, die einen konfigurierten Schwellenwert überschreiten (z. B. „Bewertung über 95 %“, wenn der Maximalwert 100 ist) - Längenbegrenzungen, die Sie für Tutor-Antworten festlegen

Konfiguration und Demomodus

TutorGuard verfügt über zwei Laufzeiten, die Sie bei der Startseite auswählen.

Demomodus

Im Demomodus verwendet das Produkt einen eingebauten Echo-Service, der eine voreingestellte Antwort für jede Eingabe zurückgibt. Kein externer API-Schlüssel ist erforderlich und keine Daten verlassen Ihre Maschine. Dieser Modus ist nützlich für:

- Testen des Benutzeroberflächenflusses

- Zeigen Sie einem Kollegen, wie das Urteil aussieht

- Ausführen automatisierter Tests in CI ohne Netzwerkanrufe

Da der Echo-Service keinen echten LLM aufruft, sind die Sicherheitsscores statisch. Ich behandle Demoaufgaben als illustrativ nur; Sie müssen in den Live-Modus wechseln, bevor Sie das tatsächliche Tutor-Verhalten bewerten.

Live-Modus

Live-Modus erfordert, dass Sie drei Umgebungsvariablen festlegen:

- LLM_ENDPOINT - die URL Ihres Tutors Generierungsdienstes

- LLM_KEY - der API-Schlüssel oder Token, den der Dienst erwartet

- LLM_MODEL - der Modell-Identifikator, den Sie schützen möchten

Wenn diese vorhanden sind, leitet TutorGuard die Benutzereingabe an Ihren Endpunkt weiter, wartet auf die Antwort und führt dann den Sicherheitsscan auf diese Antwort aus. Alle Kommunikation erfolgt über HTTPS; Ich logge die rohe Eingabe oder Antwort nicht, es sei denn, Sie aktivieren die optionale Audit-Flag, die verschlüsselte Blobs in einem lokalen.data/Verzeichnis schreibt.

Sie können die Sicherheitsschwellen über eine einfache JSON-Datei anpassen:

{

"model_threshold": 0.78,

"rule_penalty": 12,

"max_length": 250,

"block_on_personal_data": true

}

Sicherheitskategorien, die wir überprüfen

Ich habe die Überprüfungen an die OWASP-Top-10 für Large-Language-Model-Anwendungen angepasst, damit Sie sehen können, wie TutorGuard mit einem weit verbreiteten Framework übereinstimmt. Sie können die vollständige Liste hier lesen.

Kategorie 1 – Prompt-Injection

Ich suche nach Mustern, die versuchen, die Systemanweisungen des Tutors zu überschreiben, wie z.B. wiederholte „vorherige ignorieren“-Zeichenfolgen oder codierte Befehle in Base64. Wenn diese erkannt werden, fügt die Regel eine hohe Strafe hinzu und die vorgeschlagene Aktion wird „blockieren“.

Kategorie 2 – Unsichere Ausgabehandhabung

Der Scanner überprüft, ob die Antwort ausführbare Snippets enthält (z.B. <script>-Tags, SQL-Fragmente oder Shell-Metazeichen), die gefährlich sein könnten, wenn sie wörtlich gerendert werden. Flags hier lösen eine „bearbeiten“-Empfehlung mit hervorgehobenen problematischen Spannen aus.

Kategorie 3 – Training-Daten-Vergiftung

Obwohl ich vergiftete Daten nicht direkt erkennen kann, überwache ich plötzliche Verschiebungen in der faktischen Konsistenz. Der modellbasierte Detector markiert Aussagen, die bekannte Wissensbasen widersprechen (z.B. falsche historische Daten). Dies hilft, Ausgaben zu erkennen, die von korrupten Trainingsdaten stammen könnten.

Kategorie 4 – Model-Verweigerung des Dienstes

Große Antworten können übermäßige Bandbreite verbrauchen oder clientseitige Rendering-Probleme verursachen. Ich erzwinge eine konfigurierbare Längenbegrenzung; Antworten, die diese überschreiten, erhalten ein Längen-Verletzungs-Flag und eine „kürzen“-Empfehlung.

Kategorie 5 – Lieferketten-Schwachstellen

TutorGuard selbst lädt keine externen Bibliotheken zur Laufzeit, was das Lieferketten-Risiko reduziert. Ich vermerke dies in der Dokumentation, damit Sie wissen, dass die Angriffsfläche des Scanners auf die Binärdatei und ihre Konfigurationsdateien beschränkt ist.

Kategorie 6 – Offenlegung sensibler Informationen

Reguläre Ausdrücke für E-Mail-Adressen, Telefonnummern und ID-Nummern werden im regelbasierten Stadium ausgeführt. Jede Übereinstimmung löst ein hohes Schweregrad-Flag und eine „blockieren“-Entscheidung aus, es sei denn, Sie listen das Muster weiß.

Kategorie 7 – Unsichere Plugin-Design

Wenn Ihr Tutor Plugins verwendet, empfehle ich, plugin-generierten Text separat zu scannen. TutorGuard kann auf jede Textquelle gerichtet werden, sodass Sie die gleichen Überprüfungen auf Plugin-Ausgaben ausführen können.

Kategorie 8 – Übermäßige Agency

Ich achte auf Sprache, die impliziert, dass der Tutor autonome Aktionen ausführt (z.B. „Ich werde jetzt eine E-Mail senden“). Eine solche Formulierung erhält ein mäßiges Flag und eine Empfehlung, die Formulierung zu ändern.

Kategorie 9 – Übermäßige Abhängigkeit

Das Produkt erklärt explizit, dass es nur eine Entscheidungsunterstützung ist. Ich füge eine Erinnerung in den Bericht ein, dass ein Mensch vor der endgültigen Veröffentlichung den markierten Inhalt überprüfen sollte.

Kategorie 10 – Model-Diebstahl

Obwohl TutorGuard die Modell-Extraktion nicht verhindert, protokolliert es jeden Scan-Anfrage. Ein unerwarteter Anstieg des Scan-Volumens kann ein Signal wert sein, das untersucht werden sollte.

Was dies nicht ist

Ich möchte klarstellen, was TutorGuard nicht kann, damit Sie nicht darauf vertrauen, dass es etwas leistet, wozu es nicht in der Lage ist.

Erstens ist TutorGuard keine Garantie dafür, dass jede unsichere Antwort erkannt wird. Der modellbasierte Detektor arbeitet mit Wahrscheinlichkeiten, es besteht also die Möglichkeit, dass ein subtiles Problem durchrutscht. Deshalb wird die Ausgabe als Entscheidungshilfe gekennzeichnet und Sie müssen die gekennzeichneten Inhalte überprüfen.

Zweitens erreicht es keine 100-%-Genauigkeit bei jedem Maßstab. Ich vermeide es, perfekte Präzision oder Treffsicherheit zu behaupten, da die zugrunde liegenden Modelle Fehlerquoten aufweisen. Die Sicherheitsbewertung ist ein Richtwert, keine Gewissheit.

Drittens ist TutorGuard kein Ersatz für Ihre eigene Inhaltsrichtlinie oder menschliche Moderatoren. Es fügt eine automatisierte Ebene hinzu, aber die endgültige Verantwortung bleibt bei Ihnen.

Viertens umfasst das Produkt weder SSO, Slack-Benachrichtigungen noch den Massenexport von CSV-Dateien, es sei denn, diese Funktionen wurden in dieser spezifischen Version ausgeliefert. Ich habe absichtlich jede Erwähnung dieser Funktionen in der Dokumentation weggelassen, um Verwirrung zu vermeiden.

Fünftens ändert TutorGuard die Antwort des KI-Tutors nicht. Es gibt lediglich ein Urteil und hervorgehobene Textpassagen zurück. Wenn Sie automatische Neuschreibung benötigen, müssen Sie diesen Schritt selbst umsetzen.

Referenzen

- https://owasp.org/www-project-top-10-for-large-language-model-applications - https://www.nist.gov/itl/ai-risk-management-framework

Häufig gestellte Fragen

Was ist TutorGuard?

Halten Sie jede AI-Tutoren-Antwort sicher, bevor Schüler sie sehen.

Wer sollte TutorGuard verwenden?

Operatoren und Ersteller, die einen schnellen ersten Entwurf oder eine Checkliste von TutorGuard benötigen.

Funktioniert es ohne API-Schlüssel?

Ja, im expliziten Demo-Modus. Live-AI erfordert einen konfigurierten Schlüssel.

Garantiert es Ergebnisse?

Nein. Ausgaben sind Entscheidungshilfen; Sie überprüfen sie immer noch vor Veröffentlichung oder Handeln.

Enthält es SSO, Slack oder Bulk-CSV?

Nur, wenn diese Funktionen in dieser Produktversion implementiert sind - gehen Sie nicht davon aus, dass sie aus Marketing-Kopien stammen.

Wohin gehen die Daten?

Quellen

- schema.org — FAQPage - Google Search Central — Strukturierte Daten

Probieren Sie TutorGuard

Verwandte Artikel

- So verwenden Sie TutorGuard — TutorGuard - Die LX AI Micro-SaaS Topic Matrix