如何为团队制作高质量的代理技能 (Agent Skills)?
2026年11月19日
重点摘要
代理技能应从 AI 代理实际无法完成的任务出发,而不是为了使用而使用。本文从触发行为、任务成功率与稳定性,以及执行效率三个方面,介绍如何通过测试评估技能质量,持续改进或淘汰团队使用的代理技能。
此前在 E+ 的 Discord 社区中,有读者希望我们能写一篇关于“如何写好代理技能、如何分辨高质量代理技能”的文章。
随着开发团队越来越广泛地使用 AI 代理,代理技能 (agent skills) 的质量会直接影响开发成果。我们认为这是一个非常好的问题,在实践中也推荐大家定期检查团队使用的代理技能,持续改进质量,甚至淘汰不好用、实际上没在用的代理技能。
这篇文章就来讨论这个主题:先回顾什么是代理技能,再进一步讨论什么时候该用代理技能、如何判断代理技能的质量,以及如何持续迭代团队使用的代理技能。
什么是代理技能?什么时候该用代理技能?
我们曾在代理技能刚推出时,写过《Agent 实践 — 代理技能 (Agent Skills) 是什么?解决了什么问题?》,也在在线课程中介绍过《1-2 通过代理技能 (Agent Skills) 让 AI 的产出更可控》。推荐读者们先回顾这些内容,再继续往下阅读。
在 Anthropic 团队介绍代理技能的讲座 (链接) 中,提出者 Barry Zhang 谈到一个相信大家都遇到过的挫折:明明 AI 模型的能力很强,也能解决博士级别的难题,但为什么有时让 AI 做事,它却做不好?
Barry Zhang 的观点是,就像一个通用能力很强的人,如果缺乏专业领域的知识与技能,在解决特定领域的问题时,也可能无法有效完成任务。AI 代理也有同样的问题。代理技能就是通过赋予 AI 代理专业技能与知识,让它更有效地完成任务。
具体来说,代理技能是一个文件夹,其中包含提示词、扩展资源、脚本等内容。这些内容供代理在执行任务时使用,帮助模型更好地完成特定任务。
在评估是否使用代理技能时,推荐先检查 AI 代理能否在不使用技能的情况下顺利完成任务。如果可以,就没有必要使用代理技能。这是因为新一代模型的能力越来越强,许多上一代模型无法独立解决的问题,新一代模型都能有效处理。
在这种情况下,再提供额外的数据,只会无谓地占用上下文窗口,消耗额外的 token,增加使用成本。因此,在判断是否使用代理技能时,推荐先从实际遇到的问题出发。观察哪些任务直接交给 AI 代理后无法达到预期成果,再从这些问题切入,逐步补充代理技能。
如何判断代理技能的质量?
上一节提到,如果 AI 代理无法顺利完成某个任务,就可以考虑使用代理技能。这时就会遇到此前读者在 Discord 中提出的问题:团队该如何分辨高质量的代理技能?
要辨别高质量的代理技能,首先需要了解技能的编写原则。在网上能找到的众多内容中,我们最推荐 Anthropic 团队的《Skill authoring best practices》。这篇文章详细介绍了各种原则,并提供了具体案例。评估一个代理技能的质量时,可以根据文中提到的要点逐一对照。
除了自行对照,也可以直接到文章页面点击“复制页面” (Copy page),把内容输入给 AI,请它根据文章内容评估代理技能是否符合这些编写要点。
不过在实践中,如果只是照着这份指南写,相信你会发现一些问题。例如,指南提到代理技能要简洁 (concise),同时又不能过于模糊 (vague)。这时就会遇到两难:写得足够明确,可能就不够简洁;但缩得太短,又可能过于模糊。该如何判断内容足够简洁,同时又不至于模糊呢?
换个角度说,有没有更客观的评估方法,确保代理技能的质量足够好,而不是只凭感觉判断?
要做到这一点,我们需要先定义高质量代理技能应该满足哪些条件。根据 ExplainThis 团队的使用经验,我们认为,一个代理技能需要符合三个评估维度,才能称得上高质量。下面分别讨论。
首先,要看代理技能是否按预期被调用。如果一个代理技能在该调用时没有被调用,不该调用时却被使用,它不仅无法在需要时提供帮助,还会在不需要时额外占用上下文窗口。
AI 代理会根据技能描述,判断在处理某项任务时是否应该调用该技能。在实践中,可以准备两组任务:一组应该调用技能来解决,另一组则不应该调用技能。
接着,用不同的模型实际运行测试,检查是否存在触发错误。如果有,就需要改进。例如,如果原来的技能描述太长,想改得更简洁,调整后就可以用这两组任务测试,看看描述变简洁后,AI 代理是否仍能正确调用技能。
💡 如果只修改技能正文或脚本,可以优先重新运行任务结果的评测;如果修改了名称、描述,或更换了模型与技能配置,则也应该重新检查触发行为。
第二个推荐关注的方面,是完成预期目标的准确性与稳定性。要验证这一点,可以准备相应的任务,比较同一任务在使用和不使用代理技能时的表现,看看技能是否提高了任务成功率。如果发现两者的结果差不多,就需要调整。如果两者都成功,说明模型能力已经足够,可以直接移除该技能;如果两者都失败,说明模型能力仍有不足,而技能也没有提供足够的帮助,需要改进。
同时,每个任务都需要多次测试,以确认表现足够稳定。AI 代理这次成功完成任务,并不代表下次也能成功。因此需要运行多轮测试。如果测试中只有一半能够顺利完成任务,就说明需要调整技能,让 AI 代理使用它时表现更稳定。特别注意,比较时要固定模型版本、工具、初始数据与配置,并重置运行环境,避免上一轮留下的文件影响下一轮。
最后一个评估维度是完成任务的效率。效率可以从两个角度来看。一个是完成任务的速度:如果两个代理技能都能让 AI 代理准确、稳定地完成任务,但其中一个所需步骤更少,能更快完成,就会对开发团队更有帮助。另一个是 token 使用效率:如果能用更少的 token 完成相同任务,就能有效降低开发团队的实际成本。
总的来说,除了对照代理技能的编写原则,判断一个技能是否足够优质,最直接的方法就是实际使用,并在使用中评估上面提到的三个要点。