O que é o TutorGuard

O que o TutorGuard faz

Desenvolvi o TutorGuard para atuar entre um tutor de IA e a vista do aluno. Quando o tutor gera uma resposta, o TutorGuard recebe o texto, executa um conjunto de verificações e devolve um veredito. O veredito informa se a resposta é segura para ser exibida, precisa ser editada ou deve ser bloqueada. A ferramenta não altera a resposta em si; apenas fornece informações para agir.

O loop central é simples: texto de entrada → verificação de segurança → decisão de saída. Você pode executar a verificação no modo de demonstração com um modelo mock incorporado, o que permite ver o fluxo sem qualquer chave de API externa. Para produção, você aponta o TutorGuard para o seu próprio endpoint LLM e fornece uma chave válida. A verificação é executada de forma síncrona, então você obtém uma resposta antes de decidir publicar.

Cada verificação produz um relatório curto que inclui:

- uma pontuação de segurança (0-100)

- flags para quaisquer categorias de problemas detectados

- uma ação sugerida (permitir, editar, bloquear)

- o texto original com spans destacados

Você pode visualizar o relatório no painel ou recuperá-lo via um endpoint JSON. O JSON inclui as pontuações brutas, a lista de flags e o texto destacado para que você possa integrar o resultado ao seu próprio fluxo de revisão.

Como funciona a revisão

Desenhei o pipeline de revisão em três etapas: pré-processamento, detecção baseada em modelo e pós-processamento baseado em regras. Cada etapa adiciona uma camada de escrutínio sem aumentar a latência geral.

Pré-processamento

Em primeiro lugar, a resposta de entrada é normalizada. Removo espaços em branco extras, converto Unicode para uma forma consistente e divido o texto em frases. Esta etapa torna a correspondência de padrões posterior mais confiável e reduz os falsos positivos causados por peculiaridades de formatação.

Detecção baseada em modelo

Em seguida, executo um modelo de classificação leve que foi ajustado em conjuntos de dados públicos de saída de LLM não segura. O modelo retorna probabilidades para categorias como assédio, ódio, auto-lesão e inconsistência factual. Escolhi um modelo que é executado em menos de 200 ms em um CPU modesto, para que o loop de suporte à decisão permaneça interativo.

O modelo é hospedado dentro do container TutorGuard; você não precisa chamar um serviço externo para a verificação principal. Se preferir usar seu próprio modelo, pode substituir o binário por meio de uma flag de configuração, mas o modelo padrão é enviado com o produto.

Pós-processamento baseado em regras

Depois que as pontuações do modelo estão disponíveis, aplico um conjunto de regras determinísticas. Essas regras abrangem itens que são difíceis para um modelo estatístico capturar, como:

- presença de padrões de dados pessoais (e-mail, números de telefone) - frases proibidas específicas da política da sua instituição - alegações numéricas que excedem um limiar configurado (por exemplo, "pontuação acima de 95%" quando o máximo é 100) - limites de comprimento que você define para respostas de tutores

A pontuação de segurança final é uma soma ponderada da probabilidade do modelo e das penalidades das regras. Defini os pesos após executar algumas centenas de revisões manuais em chats de tutores reais; o objetivo era manter as taxas de falsos negativos baixas enquanto evitava uma sobrecarga de sinais.

Configuração e modo de demonstração

O TutorGuard é fornecido com dois modos de execução que você seleciona na inicialização.

Modo de demonstração

No modo de demonstração, o produto utiliza um serviço de eco interno que retorna uma resposta pré-definida para qualquer entrada. Nenhuma chave de API externa é necessária e nenhum dado deixa a sua máquina. Este modo é útil para:

- testar o fluxo de interface do usuário

- mostrar a um colega como o veredito parece

- executar testes automatizados em CI sem chamadas de rede

Como o serviço de eco não invoca um LLM real, as pontuações de segurança são estáticas. Trato a saída de demonstração como ilustrativa apenas; você deve alternar para o modo ao vivo antes de avaliar o comportamento real do tutor.

Modo ao vivo

O modo ao vivo requer que você defina três variáveis de ambiente:

- LLM_ENDPOINT – a URL do serviço de geração do seu tutor

- LLM_KEY – a chave de API ou token que o serviço espera

- LLM_MODEL – o identificador do modelo que você deseja proteger

Quando essas estão presentes, o TutorGuard encaminha o prompt do usuário para o seu endpoint, aguarda a resposta e, em seguida, executa a verificação de segurança nessa resposta. Toda a comunicação ocorre sobre HTTPS; não registro o prompt ou resposta brutos, a menos que você habilite a flag de auditoria opcional, que grava blobs criptografados em um diretório .data/ local.

Você pode ajustar os limiares de segurança por meio de um arquivo JSON simples:

{ "model_threshold": 0.78, "rule_penalty": 12, "max_length": 250, "block_on_personal_data": true } Alterar esses valores altera a pontuação final e a ação sugerida sem precisar reconstruir o contêiner.

Categorias de segurança que verificamos

Mapeei as verificações para o OWASP Top 10 para Aplicações de Modelo de Linguagem Grande para que possa ver como o TutorGuard se alinha com um quadro de referência amplamente referenciado. Pode ler a lista completa aqui.

Categoria 1 – Injeção de prompt

Procuro por padrões que tentam substituir as instruções do sistema do tutor, como cordas de "ignorar anterior" repetidas ou comandos codificados em base64. Se detectado, a regra adiciona uma penalidade alta e a ação sugerida torna-se "bloquear".

Categoria 2 – Manipulação de saída insegura

O scanner verifica se a resposta contém fragmentos executáveis (por exemplo, tags <script>, fragmentos SQL ou metacaracteres de shell) que poderiam ser perigosos se renderizados verbatim. Flags aqui desencadeiam uma sugestão de "editar" com os spans problemáticos realçados.

Categoria 3 – Envenenamento de dados de treinamento

Embora eu não possa detectar dados envenenados diretamente, monitoro mudanças repentinas na consistência factual. O detector baseado no modelo sinaliza declarações que contradizem bases de conhecimento conhecidas (por exemplo, datas históricas falsas). Isso ajuda a capturar saídas que podem resultar de treinamento corrompido.

Categoria 4 – Negação de serviço do modelo

Respostas grandes podem consumir largura de banda excessiva ou causar problemas de renderização no lado do cliente. Eu aplico um limite de comprimento configurável; respostas que excedem esse limite recebem uma flag de violação de comprimento e uma sugestão de "cortar".

Categoria 5 – Vulnerabilidades da cadeia de suprimentos

O TutorGuard em si não puxa bibliotecas externas em tempo de execução, reduzindo o risco da cadeia de suprimentos. Eu notei isso na documentação para que você saiba que a superfície de ataque do scanner está limitada ao binário e aos arquivos de configuração.

Categoria 6 – Divulgação de informações sensíveis

Expressões regulares para endereços de e-mail, números de telefone e números de identificação são executadas na etapa baseada em regras. Qualquer correspondência eleva uma flag de alta gravidade e força um veredito de "bloquear", a menos que você liste a padrão em branco.

Categoria 7 – Projeto de plugin inseguro

Se o seu tutor usa plugins, eu recomendo digitalizar o texto gerado pelo plugin separadamente. O TutorGuard pode ser apontado para qualquer fonte de texto, então você pode executar as mesmas verificações nas saídas do plugin.

Categoria 8 – Agência excessiva

Eu observo a linguagem que implica que o tutor está tomando ações autônomas (por exemplo, "Agora vou enviar um e-mail"). Tal fraseologia recebe uma flag moderada e uma sugestão para reescrever.

Categoria 9 – Dependência excessiva

O produto declara explicitamente que é apenas de suporte à decisão. Eu incluo um lembrete no relatório de que um humano deve revisar o conteúdo sinalizado antes do lançamento final.

Categoria 10 – Roubo de modelo

O que isto não é

Quero ser claro sobre os limites do TutorGuard para que você não confie nele para algo que ele não pode fazer.

Em primeiro lugar, o TutorGuard não é uma garantia de que todas as respostas inseguras sejam detectadas. O detector baseado em modelos funciona com probabilidades; há uma chance de que um problema sutil passe despercebido. É por isso que a saída é rotulada como suporte à decisão e por que você deve revisar o conteúdo marcado.

Em segundo lugar, ele não alcança 100 % de precisão em nenhum métrica. Evito afirmar precisão ou recall perfeitos porque os modelos subjacentes têm taxas de erro inerentes. A pontuação de segurança é um guia, não uma certeza.

Em terceiro lugar, o TutorGuard não é um substituto para a sua própria política de conteúdo ou moderadores humanos. Ele adiciona uma camada automatizada, mas a responsabilidade final permanece com você.

Em quarto lugar, o produto não inclui SSO, notificações do Slack ou exportação em massa de CSV, a menos que esses recursos tenham sido enviados nesta versão específica. Deliberadamente omiti qualquer menção a essas capacidades na documentação para evitar confusão.

Em quinto lugar, o TutorGuard não modifica a resposta do tutor de IA. Ele apenas retorna um veredito e trechos realçados. Se você precisar de reescrita automática, você deve construir essa etapa você mesmo.

Em sexto lugar, o modo de demonstração não reflete o desempenho ao vivo. As pontuações estáticas no modo de demonstração são apenas para ilustração; você deve mudar para o modo ao vivo para ver o comportamento do mundo real.

Referências

- https://owasp.org/www-project-top-10-for-large-language-model-applications - https://www.nist.gov/itl/ai-risk-management-framework

Perguntas frequentes

O que é TutorGuard?

Mantenha todas as respostas do tutor de IA seguras antes que os alunos as vejam.

Quem deve usar TutorGuard?

Operadores e construtores que precisam de um rascunho rápido ou de uma lista de verificação do TutorGuard.

Funciona sem uma chave de API?

Sim, no modo Demo explícito. O AI ao vivo requer uma chave configurada.

Garante resultados?

Não. As saídas são de suporte à decisão; você ainda revisa antes de publicar ou agir.

Inclui SSO, Slack ou CSV em massa?

Apenas se esses recursos forem implementados nesta compilação do produto — não os pressuponha a partir de cópias de marketing.

Onde os dados vão?

As execuções podem ser armazenadas localmente sob a fronteira .data/ do produto; trate os demos como efêmeros.

Referências

- schema.org — Página de perguntas frequentes - Google Search Central — Dados estruturados

Experimente o TutorGuard

Leituras relacionadas

- Como usar o TutorGuard — TutorGuard - A matriz de tópicos de micro-SaaS de IA da LX