O que é o TutorGuard

O que o TutorGuard faz

Eu criei o TutorGuard para atuar entre um tutor de IA e a visão do aluno. Quando o tutor gera uma resposta, o TutorGuard recebe o texto, executa uma série de verificações e retorna um veredito. O veredito informa se a resposta é segura para ser exibida, precisa ser editada ou deve ser bloqueada. A ferramenta não altera a resposta em si; ela apenas fornece informações para que você possa agir.

O loop principal é simples: texto de entrada → verificação de segurança → decisão de saída. Você pode executar a verificação no modo de demonstração com um modelo mock embutido, o que permite ver o fluxo sem qualquer chave de API externa. Para produção, você aponta o TutorGuard para o seu próprio endpoint LLM e fornece uma chave válida. A verificação é executada de forma síncrona, então você obtém uma resposta antes de decidir publicar.

Cada verificação produz um relatório curto que inclui:

- uma pontuação de segurança (0-100) - flags para quaisquer categorias de problemas detectados - uma ação sugerida (permitir, editar, bloquear) - o texto original com trechos destacados

Como a revisão funciona

Eu projetei o pipeline de revisão em três etapas: pré-processamento, detecção baseada em modelo e pós-processamento baseado em regras. Cada etapa adiciona uma camada de escrutínio sem aumentar a latência geral.

Pré-processamento

Primeiramente, a resposta de entrada é normalizada. Eu removo espaços em branco extras, converto Unicode para uma forma consistente e divido o texto em frases. Essa etapa torna a correspondência de padrões posterior mais confiável e reduz falsos positivos causados por peculiaridades de formatação.

Detecção baseada em modelo

Em seguida, eu executo um modelo de classificação leve que foi ajustado em conjuntos de dados públicos de saída de LLM não segura. O modelo retorna probabilidades para categorias como assédio, ódio, autolesão e inconsistência factual. Eu escolhi um modelo que executa em menos de 200 ms em um CPU modesto, para que o loop de suporte à decisão permaneça interativo.

O modelo é hospedado dentro do contêiner TutorGuard; você não precisa chamar um serviço externo para a verificação principal. Se você preferir usar seu próprio modelo, você pode substituir o binário por meio de uma flag de configuração, mas o modelo padrão é enviado com o produto.

Pós-processamento baseado em regras

Depois que as pontuações do modelo estão disponíveis, eu aplico um conjunto de regras determinísticas. Essas regras abrangem itens que são difíceis para um modelo estatístico capturar, como:

- presença de padrões de dados pessoais (e-mail, números de telefone) - frases proibidas específicas da política da sua instituição - alegações numéricas que excedem um limite configurado (por exemplo, "pontuação acima de 95%" quando o máximo é 100) - limites de comprimento que você define para respostas de tutores

Configuração e modo de demonstração

O TutorGuard é enviado com dois modos de execução que você seleciona na inicialização.

Modo de demonstração

No modo de demonstração, o produto usa um serviço de eco interno que retorna uma resposta pré-definida para qualquer entrada. Nenhuma chave de API externa é necessária e nenhum dado deixa sua máquina. Esse modo é útil para:

- testar o fluxo de interface do usuário

- mostrar a um colega como o veredito parece

- executar testes automatizados em CI sem chamadas de rede

Como o serviço de eco não invoca um LLM real, os escores de segurança são estáticos. Trato a saída de demonstração como ilustrativa apenas; você deve alternar para o modo ao vivo antes de avaliar o comportamento real do tutor.

Modo ao vivo

O modo ao vivo exige que você defina três variáveis de ambiente:

- LLM_ENDPOINT – a URL do serviço de geração do seu tutor

- LLM_KEY – a chave de API ou token que o serviço espera

- LLM_MODEL – o identificador do modelo que você deseja proteger

Quando essas estão presentes, o TutorGuard encaminha o prompt do usuário para o seu endpoint, aguarda a resposta e, em seguida, executa a verificação de segurança naquela resposta. Toda a comunicação ocorre sobre HTTPS; não registro o prompt ou a resposta brutos, a menos que você habilite a flag de auditoria opcional, que grava blobs criptografados em um diretório.data/ local.

Você pode ajustar os limiares de segurança por meio de um arquivo JSON simples:

{ "model_threshold": 0.78, "rule_penalty": 12, "max_length": 250, "block_on_personal_data": true } Alterar esses valores altera a pontuação final e a ação sugerida sem precisar reconstruir o contêiner.

Categorias de segurança que verificamos

Mapeei as verificações para o OWASP Top 10 para Aplicações de Modelo de Linguagem Grande, para que você possa ver como o TutorGuard se alinha com um framework amplamente referenciado. Você pode ler a lista completa aqui.

Categoria 1 – Injeção de prompt

Procuro por padrões que tentam substituir as instruções do sistema do tutor, como strings de "ignorar anterior" repetidas ou comandos codificados em base64. Se detectado, a regra adiciona uma penalidade alta e a ação sugerida se torna "bloquear".

Categoria 2 – Manipulação de saída insegura

O scanner verifica se a resposta contém trechos executáveis (por exemplo, tags de script, fragmentos de SQL ou metacaracteres de shell) que poderiam ser perigosos se renderizados literalmente. Flags aqui acionam uma sugestão de "editar" com os trechos problemáticos destacados.

Categoria 3 – Envenenamento de dados de treinamento

Embora eu não possa detectar dados envenenados diretamente, monitoro mudanças repentinas na consistência factual. O detector baseado em modelo sinaliza declarações que contradizem bases de conhecimento conhecidas (por exemplo, datas históricas falsas). Isso ajuda a capturar saídas que podem ser provenientes de treinamento corrompido.

Categoria 4 – Negação de serviço do modelo

Respostas grandes podem consumir largura de banda excessiva ou causar problemas de renderização no lado do cliente. Eu aplico um limite de comprimento configurável; respostas que excedem esse limite recebem uma flag de violação de comprimento e uma sugestão de "cortar".

Categoria 5 – Vulnerabilidades da cadeia de suprimentos

O TutorGuard em si não puxa bibliotecas externas em tempo de execução, reduzindo o risco da cadeia de suprimentos. Eu observo isso na documentação para que você saiba que a superfície de ataque do scanner está limitada ao binário e aos arquivos de configuração.

Categoria 6 – Divulgação de informações sensíveis

Expressões regulares para endereços de e-mail, números de telefone e números de ID são executadas na etapa baseada em regras. Qualquer correspondência eleva uma flag de alta gravidade e força um veredito de "bloquear", a menos que você liste a padrão em branco.

Categoria 7 – Projeto de plugin inseguro

Se o seu tutor usa plugins, eu recomendo digitalizar o texto gerado pelo plugin separadamente. O TutorGuard pode ser apontado para qualquer fonte de texto, então você pode executar as mesmas verificações nas saídas do plugin.

Categoria 8 – Agência excessiva

Eu observo linguagem que implica que o tutor está tomando ações autônomas (por exemplo, "Agora vou enviar um e-mail"). Essa fraseologia recebe uma flag moderada e uma sugestão para reescrever.

Categoria 9 – Dependência excessiva

O produto afirma explicitamente que é apenas de suporte à decisão. Eu incluo um lembrete no relatório de que um humano deve revisar o conteúdo sinalizado antes do lançamento final.

Categoria 10 – Roubo de modelo

O que isso não é

Quero deixar claro os limites do TutorGuard para que você não confie nele para algo que ele não pode fazer.

Em primeiro lugar, o TutorGuard não é uma garantia de que todas as respostas inseguras sejam detectadas. O detector baseado em modelo funciona com probabilidades; há uma chance de que um problema sutil passe despercebido. É por isso que a saída é rotulada como suporte à decisão e por que você deve revisar o conteúdo marcado.

Em segundo lugar, ele não alcança 100% de precisão em nenhum métrica. Evito afirmar precisão ou recall perfeitos porque os modelos subjacentes têm taxas de erro inerentes. A pontuação de segurança é um guia, não uma certeza.

Em terceiro lugar, o TutorGuard não é um substituto para sua própria política de conteúdo ou moderadores humanos. Ele adiciona uma camada automatizada, mas a responsabilidade final permanece com você.

Em quarto lugar, o produto não inclui SSO, notificações do Slack ou exportação em massa de CSV, a menos que esses recursos tenham sido lançados nessa versão específica. Deliberadamente omiti qualquer menção a essas capacidades na documentação para evitar confusão.

Em quinto lugar, o TutorGuard não modifica a resposta do tutor de IA. Ele apenas retorna um veredito e trechos destacados. Se você precisar de reescrita automática, você deve construir essa etapa você mesmo.

Em sexto lugar, o modo de demonstração não reflete o desempenho ao vivo. As pontuações estáticas no modo de demonstração são apenas para ilustração; você deve mudar para o modo ao vivo para ver o comportamento do mundo real.

Referências

- https://owasp.org/www-project-top-10-for-large-language-model-applications - https://www.nist.gov/itl/ai-risk-management-framework

Perguntas frequentes

O que é TutorGuard?

Mantenha todas as respostas do tutor de IA seguras antes que os alunos as vejam.

Quem deve usar o TutorGuard?

Operadores e construtores que precisam de um rascunho rápido ou de uma lista de verificação do TutorGuard.

Ele funciona sem uma chave de API?

Sim, no modo Demo explícito. O AI ao vivo requer uma chave configurada.

Ele garante os resultados?

Não. As saídas são de suporte à decisão; você ainda revisa antes de publicar ou agir.

Ele inclui SSO, Slack ou CSV em massa?

Apenas se esses recursos forem implementados nesta versão do produto — não os pressuponha a partir do material de marketing.

Onde os dados vão?

As execuções podem ser armazenadas localmente dentro do limite.data/ do produto; trate os demos como efêmeros.

Sim, o TutorGuard foi concebido para cumprir estas diretrizes e regulamentações.

Referências

- schema.org — Página de Perguntas Frequentes - Central de Pesquisa do Google — Dados estruturados

Tente o TutorGuard

Leituras relacionadas

- Como usar o TutorGuard — TutorGuard - A matriz de tópicos de Micro-SaaS de IA da LX