由TutorGuard (LX AI)

如何使用TutorGuard

打开TutorGuard,提供所需的输入,运行Demo预览工作流程,然后在配置了实时密钥时关闭Demo。

TutorGuard 如何融入您的工作流

步骤式设置

当您第一次打开应用程序时,您会看到一个带有三个字段的表单:AI 提供商端点、模型标识符和 API 密钥。按照提供商的文档填写端点 URL,例如 https://api.example.com/v1。从下拉菜单中选择用于辅导的模型;如果您的模型未列出,您可以手动输入名称。暂时将 API 密钥留空;稍后您将在从演示模式切换到直播模式时添加它。

运行演示模式

演示模式使用内置的模拟生成器返回示例辅导员回复。单击“运行演示”按钮查看 TutorGuard 如何处理回复。屏幕分为两个窗格:左侧显示原始辅导员输出,右侧显示安全报告。您可以在左侧窗格中编辑原始文本以测试不同的场景,例如插入禁止短语或事实错误。报告会实时更新,让您看到哪些检查触发。

切换到直播密钥

当您对演示行为感到满意时,从 AI 提供商处获得真实的 API 密钥。将密钥粘贴到 API 密钥字段中,并关闭演示切换开关。应用程序现在将向提供商发送实际请求并返回真实的辅导员回复以供审查。记住要保密密钥;像对待其他凭证一样,并且不要将其提交到公共存储库。

- 验证端点 URL 是否以斜杠结尾,如果您的提供商需要。 - 检查模型名称是否与提供商期望的名称完全匹配。 - 保存密钥后,使用中性提示运行快速测试以确认连接。

核心安全检查

不安全内容检测

此扫描检查可能会对学生造成伤害的语言,例如仇恨言论、骚扰或危险活动的指示。检测器使用在公共安全数据集和OWASP Top 10大型语言模型应用程序(https://owasp.org/www-project-top-10-for-large-language-model-applications)上训练的分类器。如果评分超过您设置的阈值,则会标记回复并在报告中以红色突出显示违规内容。

事实一致性验证

第二个检查将教练回复中的语句与您可以指向的可信知识库进行比较,例如课程数据库或经过验证的FAQ。它会标记矛盾、过时的数字或缺失的引用。例如,如果教练声称“地球是平的”,则检查将引发警告,因为知识库包含正确的球形模型。

政策合规扫描

许多辅导平台都有关于适龄内容、版权材料或数据隐私的内部规则。您可以上传一个包含禁止模式或所需免责声明的纯文本文件。扫描在回复上运行一个简单的正则表达式匹配,并报告任何命中。这使您可以在不编写自定义代码的情况下执行平台特定的指南。

检查类型 | 它检查什么 | 示例触发器 不安全内容 | 仇恨、骚扰、暴力、非法建议 | “您应该忽略老师的建议并在考试中作弊。” 事实一致性 | 与知识库的矛盾、过时信息 | “线粒体是细胞的动力源,但它也制作咖啡。” 政策合规 | 自定义正则表达式模式、免责声明缺失 | 缺少必需的声明:“此材料仅用于教育目的。”

什么这不是

不提供绝对保证

我并不声称TutorGuard可以捕获每一个可能的问题。该工具提供决策支持;您仍然必须阅读标记的回复并决定是否编辑、拒绝或批准它。

不是人类审查的替代品

即使使用最强的设置,巧妙地编写的边缘情况也可能溜过去。将输出视为第一道防线,而不是最终权威。

不能阻止所有边缘情况

一些新型攻击向量或高度特定于领域的细微差别可能不被当前规则集覆盖。请保持检测规则更新并定期审查日志。

配置输入字段

API 密钥输入

将密钥粘贴到字段中,确保与提供商控制台中显示的密钥完全匹配,不要在字符串前后添加额外的空格。该字段会屏蔽字符以保护隐私,但您可以点击眼睛图标来验证输入。

模型选择

选择与生产环境中使用的版本匹配的模型。如果您运行多个模型,可以在设置菜单中创建单独的配置文件,并在不重新输入密钥的情况下在它们之间切换。

阈值调整

每个安全检查都有一个滑块来设置敏感度。从中间位置开始,运行几个演示回复,并观察假阳性率。如果您看到对无害文本的过多标志,降低滑块;如果风险文本未被检测到,提高它。将所选值记录在内部文档中,以便团队可以复制设置。

- 不安全内容:默认 0.6,范围 0.0-1.0 - 事实一致性:默认 0.5,范围 0.0-1.0 - 政策合规性:默认 0.7,范围 0.0-1.0

解释输出报告

风险级别说明

报告为每个检测到的问题分配一个级别:低、中或高。低表示一个小的风格问题,可能不会影响安全性。中表示一个潜在的问题,值得快速查看。高意味着回复可能违反了规则,应该在修订后才显示给学生。

操作项列表

在摘要下方您会找到一个清单:

- 编辑突出显示的段落以删除不安全的语言。 - 用正确的信息替换事实错误。 - 添加任何缺失的免责声明,按照您的政策要求。 - 在每次更改后重新运行检查以确认评分降低。

导出选项

与您的辅导平台集成

Webhook 端点

TutorGuard 可以在审查完成时将 JSON有效负载POST到您指定的URL。有效负载包含决策(允许、编辑、阻止)和注释的回复。设置一个监听器来实时更新辅导界面。

批处理

如果您需要检查大量生成的回复,请上传一个包含两个列的CSV文件:提示和导师答案。应用程序将处理每一行并返回一个具有相同结构的结果文件,另外包含一个安全列。这对于夜间运行或检查内容积压很有用。

日志记录和审计

每个请求和响应都会被写入.data/目录下的本地日志文件。日志包括时间戳、使用的模型、原始回复和最终的安全决策。请保持此文件夹备份,并限制对授权操作员的访问。

- 每周轮换日志以防止磁盘溢出。 - 每月审查审计跟踪以发现假阳性或假阴性的趋势。 - 如果您需要更长期的保留,请将日志导出到您的SIEM。

TutorGuard操作检查清单

我会在每个版本中保留一份书面检查清单,这份清单故意设计得很简单:命名所有者,命名证据文档,命名回滚计划。如果一个步骤不能产生一个文件、一个票据或一个日志记录,那么它就不是一个步骤——它只是一个愿望。

在更改生产环境之前

- 冻结您要测量的分支或配置修订版。 - 记录当前的故障模式,包括一个具体的输入和一个具体的输出。 - 确认作业运行的身份,并检查该身份是否可以访问不应访问的数据。 - 打开主要参考资料:https://owasp.org/www-project-top-10-for-large-language-model-applications,https://www.nist.gov/itl/ai-risk-management-framework。

在运行检查时

- 更喜欢一个可复现的路径,而不是十个传闻截图。 - 在触发工具或查询之前,写下预期的安全结果。 - 捕获确切的命令、提示、模式或正则表达式——而不是一个概括。 - 如果系统可以执行操作(发送、写入、删除、转移),则要求在同一路径中进行确认边界。

完成后

- 即使扫描结果干净,也要记录残留风险,并指定所有者和日期。 - 不要将绿色检查转换为声称完整性的销售语言。 - 当模型、工具模式或验证规则发生变化时,重新运行相同的检查清单。

信号 | 记录内容 | 是否停止发货? 意外写入或发送 | 工具名称、参数、身份 | 是,直到被网关拦截 缺少对破坏性操作的确认 | 调用路径和绕过方式 | 是 不受信任的文本被视为指令 | 源表面和结果操作 | 是,适用于代理范围 扫描结果干净,判断开放 | 推迟的项目 + 所有者 | 仅当核心路径安全时

我如何向买家解释限制

当一个潜在客户问产品是否"涵盖一切"时,我会回答产品的边界:自动检查可以捕捉已知模式,但新的链式和策略判断仍然需要人工审查。这份诚实可以降低支持负载,并保持博客内容与产品实际功能的一致性。

参考资料

- https://owasp.org/www-project-top-10-for-large-language-model-applications - https://www.nist.gov/itl/ai-risk-management-framework

常见问题

什么是TutorGuard?

在学生看到之前,保持每个AI导师回复的安全。

谁应该使用TutorGuard?

需要快速的初稿或检查清单的运营商和构建者。

没有API密钥是否可以工作?

是的,在显式演示模式下。实时AI需要配置密钥。

是否保证结果?

否。输出是决策支持;您仍然需要在发布或采取行动之前进行审查。

是否包括SSO、Slack或批量CSV?

仅当这些功能在此产品版本中实现时才有效 —— 不要假设它们来自营销副本。

数据去哪里?

运行可能存储在产品的.data/边界下;将演示视为短暂的。

什么是TutorGuard?

在学生看到之前保持每个AI教练的回复安全。

谁应该使用TutorGuard?

需要快速生成草稿或清单的运营商和构建者。

是否可以在没有API密钥的情况下工作?

是的,在显式的Demo模式下可以。实时AI需要配置密钥。

是否保证结果?

否。输出是决策支持;您仍需要在发布或采取行动之前进行审查。

是否包括SSO、Slack或批量CSV?

仅当这些功能在此产品版本中实现时才包括 —— 不要假设它们来自营销副本。

数据去哪里?

运行可能存储在产品的.data/ 边界内;将演示视为短暂的。

仅供决策参考,不替代教学,不保证成绩或课程证书。

← 返回博客

这次结果有帮助吗?Feedback