Para qué sirve TutorGuard

Qué hace TutorGuard

Construí TutorGuard para que se sitúe entre un tutor de inteligencia artificial y la vista del estudiante. Cuando el tutor genera una respuesta, TutorGuard recibe el texto, ejecuta una serie de comprobaciones y devuelve un veredicto. El veredicto indica si la respuesta es segura para mostrar, necesita edición o debe ser bloqueada. La herramienta no cambia la respuesta en sí; solo proporciona información para actuar.

El bucle principal es simple: texto de entrada → análisis de seguridad → decisión de salida. Puedes ejecutar el análisis en modo de demostración con un modelo mock integrado, lo que te permite ver el flujo sin ninguna clave de API externa. Para producción, apuntas TutorGuard a tu propio punto de conexión de LLM y proporcionas una clave válida. El análisis se ejecuta de forma síncrona, por lo que obtienes una respuesta antes de decidir publicar.

Cada análisis produce un informe breve que incluye:

- una puntuación de seguridad (0-100) - indicadores para cualquier categoría de problemas detectados - una acción sugerida (permitir, editar, bloquear) - el texto original con spans resaltados

Cómo funciona la revisión

Diseñé el pipeline de revisión alrededor de tres etapas: preprocesamiento, detección basada en modelos y postprocesamiento basado en reglas. Cada etapa agrega una capa de escrutinio sin ralentizar la latencia general.

Preprocesamiento

Primero, la respuesta entrante se normaliza. Elimino el espacio en blanco adicional, convierto Unicode a una forma consistente y divido el texto en oraciones. Este paso hace que la coincidencia de patrones posteriores sea más confiable y reduce los falsos positivos causados por rarezas de formato.

Detección basada en modelos

A continuación, ejecuto un modelo de clasificación ligero que se ha ajustado en conjuntos de datos públicos de salida de LLM no segura. El modelo devuelve probabilidades para categorías como acoso, odio, autolesión y inconsistencia factual. Elegí un modelo que se ejecuta en menos de 200 ms en un CPU modesto para que el bucle de decisión de soporte permanezca interactivo.

El modelo se hospeda dentro del contenedor de TutorGuard; no necesitas llamar a un servicio externo para el análisis principal. Si prefieres usar tu propio modelo, puedes reemplazar el binario a través de una bandera de configuración, pero el modelo predeterminado se envía con el producto.

Postprocesamiento basado en reglas

Después de que las puntuaciones del modelo estén disponibles, aplico un conjunto de reglas deterministas. Estas reglas cubren elementos que son difíciles de capturar para un modelo estadístico, como:

- presencia de patrones de datos personales (correo electrónico, números de teléfono) - frases prohibidas específicas de la política de tu institución - reclamaciones numéricas que exceden un umbral configurado (por ejemplo, "puntuación por encima del 95%" cuando el máximo es 100) - límites de longitud que estableces para las respuestas de los tutores

La puntuación de seguridad final es una suma ponderada de la probabilidad del modelo y las penalizaciones de las reglas. Establecí los pesos después de ejecutar unas pocas centenas de revisiones manuales en chats de tutores reales; el objetivo era mantener las tasas de falsos negativos bajas mientras evitaba una sobrecarga de indicadores.

Configuración y modo de demostración

TutorGuard se envía con dos modos de tiempo de ejecución que selecciona al inicio.

Modo de demostración

En modo de demostración, el producto utiliza un servicio de eco integrado que devuelve una respuesta preestablecida para cualquier entrada. No se requiere una clave de API externa y no se envían datos fuera de su máquina. Este modo es útil para:

- probar el flujo de la interfaz de usuario

- mostrar a un colega cómo se ve el veredicto

- ejecutar pruebas automatizadas en CI sin llamadas de red

Dado que el servicio de eco no invoca a un LLM real, las puntuaciones de seguridad son estáticas. Trato la salida de demostración como ilustrativa solo; debe cambiar al modo en vivo antes de evaluar el comportamiento del tutor real.

Modo en vivo

El modo en vivo requiere que establezca tres variables de entorno:

- LLM_ENDPOINT – la URL del servicio de generación de su tutor

- LLM_KEY – la clave de API o token que el servicio espera

- LLM_MODEL – el identificador del modelo que desea proteger

Cuando estos están presentes, TutorGuard reenvía la solicitud del usuario a su punto de conexión, espera la respuesta y luego ejecuta la prueba de seguridad en esa respuesta. Toda la comunicación se realiza a través de HTTPS; no registro la solicitud o respuesta raw a menos que habilite la bandera de auditoría opcional, que escribe bloques cifrados en un directorio local .data/

Puede ajustar los umbrales de seguridad a través de un archivo JSON simple:

{ "model_threshold": 0.78, "rule_penalty": 12, "max_length": 250, "block_on_personal_data": true } Cambiar estos valores cambia la puntuación final y la acción sugerida sin necesidad de volver a compilar el contenedor.

Categorías de seguridad que verificamos

He mapeado las verificaciones con la OWASP Top 10 para Aplicaciones de Modelos de Lenguaje Grande para que pueda ver cómo TutorGuard se alinea con un marco de referencia ampliamente reconocido. Puede leer la lista completa aquí.

Categoría 1 – Inyección de instrucciones

Busco patrones que intentan anular las instrucciones del sistema del tutor, como cadenas de "ignorar instrucciones anteriores" repetidas o comandos codificados en base64. Si se detecta, la regla agrega una penalización alta y la acción sugerida se convierte en "bloquear".

Categoría 2 – Manejo de salida inseguro

El escáner verifica si la respuesta contiene fragmentos ejecutables (por ejemplo, etiquetas <script>, fragmentos de SQL o metacaracteres de shell) que podrían ser peligrosos si se representan tal como están. Las banderas aquí activan una sugerencia de "editar" con los tramos problemáticos resaltados.

Categoría 3 – Envenenamiento de datos de entrenamiento

Si bien no puedo detectar datos envenenados directamente, monitoreo los cambios bruscos en la coherencia de los hechos. El detector basado en modelo señala las declaraciones que contradicen las bases de conocimiento conocidas (por ejemplo, fechas históricas falsas). Esto ayuda a detectar salidas que pueden provenir de un entrenamiento corrupto.

Categoría 4 – Denegación de servicio del modelo

Las respuestas grandes pueden consumir una cantidad excesiva de ancho de banda o causar problemas de representación en el lado del cliente. Hago cumplir un límite de longitud configurable; las respuestas que lo exceden reciben una bandera de violación de longitud y una sugerencia de "recortar".

Categoría 5 – Vulnerabilidades de la cadena de suministro

TutorGuard en sí mismo no extrae bibliotecas externas en tiempo de ejecución, lo que reduce el riesgo de la cadena de suministro. Nota esto en la documentación para que sepa que la superficie de ataque del escáner se limita al binario y sus archivos de configuración.

Categoría 6 – Divulgación de información sensible

Las expresiones regulares para direcciones de correo electrónico, números de teléfono y números de identificación se ejecutan en la etapa basada en reglas. Cualquier coincidencia genera una bandera de alta gravedad y fuerza un veredicto de "bloquear" a menos que se agregue la patrón a una lista blanca.

Categoría 7 – Diseño de plugin inseguro

Si su tutor utiliza plugins, recomiendo escanear el texto generado por el plugin por separado. TutorGuard puede apuntar a cualquier fuente de texto, por lo que puede ejecutar las mismas verificaciones en las salidas del plugin.

Categoría 8 – Agencia excesiva

Vigilo el lenguaje que implica que el tutor está tomando acciones autónomas (por ejemplo, "Ahora enviaré un correo electrónico"). Esta fraseología recibe una bandera moderada y una sugerencia de reexpresar.

Categoría 9 – Dependencia excesiva

El producto establece explícitamente que es de apoyo a la toma de decisiones solo. Incluyo un recordatorio en el informe de que un humano debe revisar el contenido señalado antes de su lanzamiento final.

Categoría 10 – Robo de modelo

Qué no es esto

Quiero dejar claro los límites de TutorGuard para que no confíes en ello para algo que no puede hacer.

En primer lugar, TutorGuard no es una garantía de que todas las respuestas inseguras sean detectadas. El detector basado en modelos funciona con probabilidades; hay una posibilidad de que un problema sutil pase desapercibido. Es por eso que la salida está etiquetada como soporte de decisión y por qué debes revisar el contenido marcado.

En segundo lugar, no alcanza el 100 % de precisión en ninguna métrica. Evito afirmar una precisión o recuerdo perfectos porque los modelos subyacentes tienen tasas de error inherentes. La puntuación de seguridad es una guía, no una certeza.

En tercer lugar, TutorGuard no reemplaza tu propia política de contenido o moderadores humanos. Agrega una capa automatizada, pero la responsabilidad final recae en ti.

En cuarto lugar, el producto no incluye SSO, notificaciones de Slack o exportación masiva de CSV a menos que esas características hayan sido enviadas en esta versión específica. He omitido deliberadamente cualquier mención a esas capacidades en la documentación para evitar confusiones.

En quinto lugar, TutorGuard no modifica la respuesta del tutor de inteligencia artificial. Solo devuelve un veredicto y span destacados. Si necesitas reescritura automática, debes construir ese paso tú mismo.

Referencias

- https://owasp.org/www-project-top-10-for-large-language-model-applications - https://www.nist.gov/itl/ai-risk-management-framework

Preguntas frecuentes

¿Qué es TutorGuard?

Mantenga todas las respuestas del tutor de inteligencia artificial seguras antes de que los estudiantes las vean.

¿Quién debería usar TutorGuard?

Operadores y constructores que necesitan un borrador rápido o una lista de verificación de TutorGuard.

¿Funciona sin una clave de API?

Sí en modo de demostración explícito. La inteligencia artificial en vivo requiere una clave configurada.

¿Garantiza los resultados?

No. Las salidas son de apoyo a la decisión; aún debe revisar antes de publicar o actuar.

¿Incluye inicio de sesión único, Slack o CSV masivo?

Solo si esas características están implementadas en esta versión del producto: no asuma que están disponibles según el material de marketing.

¿Dónde va la datos?

Las ejecuciones pueden almacenarse localmente bajo el límite .data/ del producto; trate las demostraciones como efímeras.

TutorGuard opera de forma independiente, pero es importante mencionar que sigue las pautas generales de seguridad y privacidad.

Referencias

- schema.org — Página de preguntas frecuentes - Centro de búsqueda de Google — Datos estructurados

Intenta TutorGuard

Lecturas relacionadas

- Cómo usar TutorGuard — TutorGuard - La matriz de temas de LX AI Micro-SaaS