Ce que TutorGuard est pour

Ce que fait TutorGuard

J'ai créé TutorGuard pour s'interposer entre un tuteur IA et la vue de l'étudiant. Lorsque le tuteur génère une réponse, TutorGuard reçoit le texte, exécute une série de vérifications et renvoie un verdict. Le verdict indique si la réponse est sûre à afficher, nécessite une édition ou doit être bloquée. L'outil ne modifie pas la réponse elle-même ; il fournit uniquement des informations pour agir.

La boucle de base est simple : texte d'entrée → analyse de sécurité → décision de sortie. Vous pouvez exécuter l'analyse en mode démo avec un modèle mock intégré, ce qui vous permet de voir le flux sans aucune clé d'API externe. Pour la production, vous pointez TutorGuard vers votre propre point de terminaison LLM et fournissez une clé valide. L'analyse s'exécute de manière synchrone, vous obtenez donc une réponse avant de décider de publier.

Chaque analyse produit un court rapport qui comprend :

- un score de sécurité (0-100) - des indicateurs pour les catégories de problèmes détectés - une action suggérée (autoriser, éditer, bloquer) - le texte original avec des plages mises en évidence

Fonctionnement de l'examen

J'ai conçu le pipeline d'examen autour de trois étapes : prétraitement, détection basée sur le modèle et post-traitement basé sur des règles. Chaque étape ajoute une couche d'examen sans ralentir la latence globale.

Prétraitement

Tout d'abord, la réponse entrante est normalisée. Je supprime les espaces blancs supplémentaires, convertis les caractères Unicode en une forme cohérente et divise le texte en phrases. Cette étape rend la correspondance de modèles ultérieure plus fiable et réduit les faux positifs causés par des singularités de formatage.

Détection basée sur le modèle

Ensuite, je lance un modèle de classification léger qui a été affiné sur des jeux de données publics de sortie LLM non sécurisée. Le modèle renvoie des probabilités pour des catégories telles que le harcèlement, la haine, l'autodestruction et l'incohérence factuelle. J'ai choisi un modèle qui s'exécute en moins de 200 ms sur un CPU modeste afin que la boucle de prise en charge de décision reste interactive.

Le modèle est hébergé à l'intérieur du conteneur TutorGuard ; vous n'avez pas besoin d'appeler un service externe pour l'analyse de base. Si vous préférez utiliser votre propre modèle, vous pouvez remplacer le binaire via un indicateur de configuration, mais le modèle par défaut est livré avec le produit.

Post-traitement basé sur des règles

Après que les scores du modèle soient disponibles, j'applique un ensemble de règles déterministes. Ces règles couvrent des éléments qui sont difficiles pour un modèle statistique à détecter, tels que :

- la présence de modèles de données personnelles (e-mail, numéros de téléphone) - des phrases interdites spécifiques de la politique de votre établissement - des allégations numériques qui dépassent un seuil configuré (par exemple, « score supérieur à 95 % » lorsque le maximum est de 100) - des limites de longueur que vous définissez pour les réponses des tuteurs

Le score de sécurité final est une somme pondérée de la probabilité du modèle et des pénalités de règle. J'ai défini les pondérations après avoir effectué quelques centaines d'examen manuel sur des chats de tuteurs réels ; l'objectif était de maintenir les taux de faux négatifs bas tout en évitant une surcharge de drapeaux.

Configuration et mode démo

TutorGuard est livré avec deux modes d'exécution que vous sélectionnez au démarrage.

Mode démo

En mode démo, le produit utilise un service d'écho intégré qui renvoie une réponse prédéfinie pour toute entrée. Aucune clé API externe n'est requise et aucune donnée ne quitte votre machine. Ce mode est utile pour :

- tester le flux d'interface utilisateur - montrer à un collègue à quoi ressemble le verdict - exécuter des tests automatisés dans CI sans appels réseau

Puisque le service d'écho n'invoke pas un LLM réel, les scores de sécurité sont statiques. Je traite la sortie de démo comme illustrative uniquement ; vous devez basculer en mode live avant d'évaluer le comportement réel du tuteur.

Mode live

Le mode live nécessite que vous définissiez trois variables d'environnement :

- LLM_ENDPOINT – l'URL du service de génération de votre tuteur - LLM_KEY – la clé API ou le jeton que le service attend - LLM_MODEL – l'identifiant de modèle que vous souhaitez protéger

Lorsque ceux-ci sont présents, TutorGuard transmet la invite de l'utilisateur à votre point de terminaison, attend la réponse, puis exécute l'analyse de sécurité sur cette réponse. Toute communication se fait via HTTPS ; je ne journalise pas l'invite ou la réponse brute à moins que vous n'activiez le flag d'audit facultatif, qui écrit des blobs chiffrés dans un répertoire .data/ local.

Vous pouvez ajuster les seuils de sécurité via un fichier JSON simple :

{ "model_threshold": 0,78, "rule_penalty": 12, "max_length": 250, "block_on_personal_data": true } La modification de ces valeurs change le score final et l'action suggérée sans nécessiter de reconstruire le conteneur.

Catégories de sécurité que nous vérifions

J'ai cartographié les vérifications sur le OWASP Top 10 pour les applications de modèle de langage large afin que vous puissiez voir comment TutorGuard s'aligne sur un cadre largement référencé. Vous pouvez lire la liste complète ici.

Catégorie 1 – Injection de prompt

Je recherche des modèles qui tentent de remplacer les instructions système du tuteur, tels que des chaînes « ignorer les précédents » répétées ou des commandes codées en base64. Si détecté, la règle ajoute une pénalité élevée et l'action suggérée devient « bloquer ».

Catégorie 2 – Gestion de sortie non sécurisée

L'analyseur vérifie si la réponse contient des extraits exécutables (par exemple, des balises <script>, des fragments SQL ou des méta-caractères de shell) qui pourraient être dangereux s'ils étaient rendus verbatim. Les drapeaux ici déclenchent une suggestion « éditer » avec les spans problématiques mis en évidence.

Catégorie 3 – Empoisonnement des données de formation

Bien que je ne puisse pas détecter directement les données empoisonnées, je surveille les changements soudains dans la cohérence factuelle. Le détecteur basé sur le modèle signale les déclarations qui contredisent les bases de connaissances connues (par exemple, des dates historiques fausses). Cela aide à attraper les sorties qui peuvent provenir d'une formation corrompue.

Catégorie 4 – Déni de service de modèle

Les grandes réponses peuvent consommer une bande passante excessive ou provoquer des problèmes de rendu côté client. Je force une limite de longueur configurable ; les réponses qui la dépassent reçoivent un drapeau de violation de longueur et une suggestion « tronquer ».

Catégorie 5 – Vulnérabilités de la chaîne d'approvisionnement

TutorGuard lui-même n'extrait pas les bibliothèques externes à l'exécution, ce qui réduit le risque de la chaîne d'approvisionnement. Je note cela dans la documentation afin que vous sachiez que la surface d'attaque de l'analyseur est limitée au binaire et à ses fichiers de configuration.

Catégorie 6 – Divulgation d'informations sensibles

Les expressions régulières pour les adresses e-mail, les numéros de téléphone et les numéros d'identification sont exécutées à l'étape basée sur les règles. Toute correspondance soulève un drapeau de gravité élevée et force un verdict « bloquer » à moins que vous n'insériez le modèle sur une liste blanche.

Catégorie 7 – Conception de plugin non sécurisée

Si votre tuteur utilise des plugins, je vous recommande d'analyser séparément le texte généré par le plugin. TutorGuard peut être pointé vers n'importe quelle source de texte, vous pouvez donc exécuter les mêmes vérifications sur les sorties de plugin.

Catégorie 8 – Agence excessive

Je surveille le langage qui implique que le tuteur prend des actions autonomes (par exemple, « Je vais maintenant envoyer un e-mail »). Un tel libellé reçoit un drapeau modéré et une suggestion de réécrire.

Catégorie 9 – Dépendance excessive

Le produit indique explicitement qu'il s'agit d'un support de décision uniquement. J'inclus un rappel dans le rapport que l'utilisateur doit examiner le contenu signalé avant la publication finale.

Catégorie 10 – Vol de modèle

Ce que cela n'est pas

Je veux être clair sur les limites de TutorGuard pour que vous ne comptiez pas sur lui pour quelque chose qu'il ne peut pas faire.

Tout d'abord, TutorGuard n'est pas une garantie que chaque réponse non sécurisée sera détectée. Le détecteur basé sur les modèles fonctionne sur des probabilités ; il y a une chance qu'un problème subtil passe inaperçu. C'est pourquoi la sortie est étiquetée comme prise en charge de décision et pourquoi vous devez examiner le contenu signalé.

Deuxièmement, il n'atteint pas 100 % de précision sur tous les indicateurs. J'évite de prétendre une précision ou une recall parfaite car les modèles sous-jacents ont des taux d'erreur inhérents. Le score de sécurité est un guide, et non une certitude.

Troisièmement, TutorGuard n'est pas un remplacement de votre propre politique de contenu ou de modérateurs humains. Il ajoute une couche automatisée, mais la responsabilité finale repose sur vous.

Quatrièmement, le produit ne comprend pas l'authentification unique, les notifications Slack ou l'exportation CSV en bloc, à moins que ces fonctionnalités n'aient été expédiées dans cette version spécifique. J'ai délibérément omis toute mention de ces capacités dans la documentation pour éviter la confusion.

Cinquièmement, TutorGuard ne modifie pas la réponse du tuteur IA. Il ne retourne qu'un verdict et des extraits mis en évidence. Si vous avez besoin d'une réécriture automatique, vous devez construire cette étape vous-même.

Références

- https://owasp.org/www-project-top-10-for-large-language-model-applications - https://www.nist.gov/itl/ai-risk-management-framework

Questions fréquentes

Qu'est-ce que TutorGuard ?

Conservez chaque réponse de tuteur IA en toute sécurité avant que les étudiants ne la voient.

Qui devrait utiliser TutorGuard ?

Les opérateurs et les concepteurs qui ont besoin d'un premier jet rapide ou d'une liste de contrôle de TutorGuard.

Fonctionne-t-il sans clé API ?

Oui en mode démo explicite. L'IA en direct nécessite une clé configurée.

Garantit-il les résultats ?

Non. Les sorties sont des outils de soutien à la décision ; vous devez toujours les examiner avant de publier ou d'agir.

Inclut-il l'authentification unique, Slack ou le CSV bulk ?

Seulement si ces fonctionnalités sont implémentées dans cette version du produit — ne les supposez pas à partir du texte marketing.

Où vont les données ?

Les exécutions peuvent être stockées localement sous la limite .data/ du produit ; traitez les démos comme éphémères.

Références

- schema.org — FAQPage - Google Search Central — Données structurées

Lectures connexes

- Comment utiliser TutorGuard — TutorGuard - La matrice de sujets de micro-SaaS LX AI