Cómo usar TutorGuard

Cómo TutorGuard se ajusta a su flujo de trabajo

Configuración paso a paso

Cuando abre la aplicación por primera vez, verá un formulario con tres campos: el endpoint del proveedor de inteligencia artificial, el identificador del modelo y la clave de API. Rellene la URL del endpoint exactamente como lo muestra la documentación de su proveedor, por ejemplo https://api.example.com/v1. Elija el modelo que utiliza para tutoría desde el menú desplegable; si su modelo no está en la lista, puede escribir el nombre manualmente. Deje la clave de API en blanco por ahora; la agregará más tarde cuando pase del modo de demostración al modo en vivo.

Ejecución del modo de demostración

El modo de demostración utiliza un generador de muestra integrado que devuelve respuestas de tutor de ejemplo. Haga clic en el botón Ejecutar demostración para ver cómo TutorGuard procesa una respuesta. La pantalla se divide en dos paneles: el izquierdo muestra la salida bruta del tutor, el derecho muestra el informe de seguridad. Puede editar el texto bruto en el panel izquierdo para probar diferentes escenarios, como insertar una frase prohibida o un error factual. El informe se actualiza al instante, lo que le permite ver qué comprobaciones se activan.

Cambiar a clave en vivo

Cuando esté satisfecho con el comportamiento de la demostración, obtenga una clave de API real de su proveedor de inteligencia artificial. Pegue la clave en el campo de clave de API y desactive el interruptor de demostración. La aplicación ahora enviará solicitudes reales al proveedor y devolverá respuestas reales del tutor para su revisión. Recuerde mantener la clave en secreto; trátela como cualquier otra credencial y no la comprometa en un repositorio público.

Comprobaciones de seguridad básicas realizadas

Detección de contenido no seguro

Esta exploración busca lenguaje que podría dañar a un estudiante, como discurso de odio, acoso o instrucciones para actividades peligrosas. El detector utiliza un clasificador entrenado en conjuntos de datos de seguridad pública y en los OWASP Top 10 para aplicaciones LLM (https://owasp.org/www-project-top-10-for-large-language-model-applications). Si la puntuación supera el umbral que establezcas, la respuesta se marca y el informe muestra el span ofensivo resaltado en rojo.

Verificación de coherencia factual

La segunda comprobación compara las declaraciones en la respuesta del tutor con una base de conocimientos de confianza a la que puedes hacer referencia, como una base de datos curricular o una FAQ verificada. Marca contradicciones, números desactualizados o citas faltantes. Por ejemplo, si el tutor afirma que “la Tierra es plana”, la comprobación generará una advertencia porque la base de conocimientos contiene el modelo esférico correcto.

Exploración de cumplimiento de políticas

Muchas plataformas de tutoría tienen reglas internas sobre contenido adecuado para la edad, material con derechos de autor o privacidad de datos. Puedes subir un archivo de texto plano que enumere patrones prohibidos o avisos obligatorios. La exploración ejecuta una coincidencia de regex simple sobre la respuesta y informa de cualquier coincidencia. Esto te permite hacer cumplir las directrices específicas de la plataforma sin escribir código personalizado.

Tipo de comprobación | Lo que busca | Ejemplo de activación Contenido no seguro | Odio, acoso, violencia, asesoramiento ilegal | “Debes ignorar el consejo del profesor y hacer trampa en la prueba.” Coherencia factual | Contradicción con la base de conocimientos, información desactualizada | “La mitocondria es la central eléctrica de la célula, pero también hace café.” Cumplimiento de políticas | Patrones de regex personalizados, ausencia de aviso | Declaración requerida que falta: “Este material es solo para uso educativo.”

Qué no es esto

No hay garantía absoluta

No afirmo que TutorGuard detecte todos los problemas posibles. La herramienta proporciona apoyo a la toma de decisiones; aún debe leer la respuesta marcada y decidir si editar, rechazar o aprobarla.

No reemplaza la revisión humana

Incluso con la configuración más fuerte, un caso límite ingeniosamente redactado puede pasar desapercibido. Trate la salida como una primera línea de defensa, no como la autoridad final.

No bloquea todos los casos límite

Algunos vectores de ataque novedosos o matices muy específicos del dominio pueden no estar cubiertos por el conjunto de reglas actual. Mantenga las reglas de detección actualizadas y revise los registros con regularidad.

Configuración de campos de entrada

Introducción de la clave de API

Pegue la clave exactamente como se muestra en la consola de su proveedor. No agregue espacios extra antes o después de la cadena. El campo enmascara los caracteres por privacidad, pero puede hacer clic en el icono de ojo para verificar la entrada.

Selección del modelo

Elija el modelo que coincida con la versión que utiliza en producción. Si ejecuta varios modelos, puede crear perfiles separados en el menú de configuración y cambiar entre ellos sin volver a introducir la clave.

Ajuste de umbral

Cada comprobación de seguridad tiene un control deslizante que establece la sensibilidad. Comience con la posición media, ejecute algunas respuestas de demostración y observe la tasa de falsos positivos. Si ve demasiadas marcas en texto inofensivo, reduzca el control deslizante; si el texto de riesgo pasa desapercibido, aumente el control deslizante. Registre los valores elegidos en su documentación interna para que el equipo pueda reproducir la configuración.

- Contenido no seguro: valor predeterminado 0,6, rango 0,0-1,0 - Consistencia factual: valor predeterminado 0,5, rango 0,0-1,0 - Cumplimiento de políticas: valor predeterminado 0,7, rango 0,0-1,0

Interpretación del informe de salida

Niveles de riesgo explicados

El informe asigna un nivel a cada problema detectado: Bajo, Medio o Alto. Bajo indica una preocupación menor de estilo que puede no afectar la seguridad. Medio sugiere un problema potencial que requiere una revisión rápida. Alto significa que la respuesta probablemente viola una regla y no debe mostrarse a un estudiante sin revisión.

Lista de elementos de acción

Debajo del resumen, encontrará una lista de verificación:

- Edite los segmentos resaltados para eliminar el lenguaje inseguro. - Reemplace los errores factuales con información correcta de su fuente. - Agregue cualquier aviso que falte requerido por su política. - Vuelva a ejecutar la verificación después de cada cambio para confirmar que la puntuación disminuye.

Opciones de exportación

Integración con su plataforma de tutoría

Punto final de webhook

TutorGuard puede enviar una carga útil JSON a una URL que usted especifique cada vez que se complete una revisión. La carga contiene la decisión (permitir, editar, bloquear) y la respuesta anotada. Configure un oyente en su lado que actualice la interfaz de tutoría en tiempo real.

Procesamiento por lotes

Si necesita verificar un gran conjunto de respuestas generadas, cargue un archivo CSV con dos columnas: prompt y respuesta del tutor. La aplicación procesará cada fila y devolverá un archivo de resultado con la misma estructura más una columna de seguridad. Esto es útil para ejecuciones nocturnas o para verificar un conjunto de contenido pendiente.

Registro y auditoría

Cada solicitud y respuesta se escribe en un archivo de registro local en el directorio.data/. El registro incluye una marca de tiempo, el modelo utilizado, la respuesta bruta y la decisión de seguridad final. Mantenga esta carpeta respaldada y restrinja el acceso a operadores autorizados solo.

Lista de verificación del operador para usar TutorGuard

Mantengo una lista de verificación escrita al lado de cada lanzamiento que toca este tema. La lista es aburrida a propósito: nombrar al propietario, nombrar el artefacto de evidencia y nombrar la reversión. Si un paso no puede producir un archivo, un ticket o una línea de registro, no es un paso, es un deseo.

Antes de cambiar la producción

- Congelar la rama o revisión de configuración que se medirá. - Registrar el modo de fallo actual con una entrada concreta y una salida concreta. - Confirmar qué identidad ejecuta el trabajo y si esa identidad puede acceder a datos que no debería. - Abrir las referencias principales que se citarán: https://owasp.org/www-project-top-10-for-large-language-model-applications, https://www.nist.gov/itl/ai-risk-management-framework

Mientras se ejecuta la verificación

- Preferir un camino reproducible sobre diez capturas de pantalla anecdóticas. - Escribir el resultado seguro esperado antes de activar la herramienta o consulta. - Capturar el comando exacto, la invitación, el esquema o la expresión regular bajo prueba, no una paráfrasis. - Si el sistema puede actuar (enviar, escribir, eliminar, transferir), requerir un límite de confirmación en el mismo paso.

Después de terminar

- Archivar el riesgo residual con un propietario y una fecha, incluso cuando el escaneo esté limpio. - No convertir una verificación verde en lenguaje de ventas que reclame la completitud. - Volver a ejecutar la misma lista de verificación cuando el modelo, el esquema de la herramienta o las reglas de validación cambien.

Señal | Qué registrar | ¿Detener el envío? Escritura o envío inesperado | Nombre de la herramienta, args, identidad | Sí hasta que esté limitado Falta de confirmación en acción destructiva | Camino de llamada y omisión | Sí Texto no confiable tratado como instrucción | Superficie de origen y acción resultante | Sí para el alcance del agente Escaneo limpio, juicio abierto | Artículos diferidos + propietario | Solo si el camino principal es seguro

Cómo explico los límites a los compradores

Cuando un prospecto pregunta si el producto "cubre todo", respondo con el límite: las comprobaciones automatizadas detectan patrones conocidos; las cadenas novedosas y el juicio de política aún necesitan revisión. Esa honestidad mantiene la carga de soporte baja y mantiene el blog alineado con lo que el producto realmente hace.

Referencias

- https://owasp.org/www-project-top-10-for-large-language-model-applications - https://www.nist.gov/itl/ai-risk-management-framework

Preguntas frecuentes

¿Qué es TutorGuard?

Mantenga todas las respuestas del tutor de inteligencia artificial seguras antes de que los estudiantes las vean.

¿Quién debería usar TutorGuard?

Operadores y constructores que necesitan un borrador rápido o una lista de verificación de TutorGuard.

¿Funciona sin una clave de API?

Sí en modo de demostración explícito. La inteligencia artificial en vivo requiere una clave configurada.

¿Garantiza los resultados?

No. Las salidas son de apoyo a la decisión; aún debe revisar antes de publicar o actuar.

¿Incluye inicio de sesión único, Slack o CSV masivo?

Solo si esas características están implementadas en esta versión del producto: no suponga que están disponibles por la copia de marketing.

¿Dónde va la datos?

Las ejecuciones pueden almacenarse localmente bajo el límite .data/ del producto; trate las demos como efímeras.