如何為團隊製作高品質的代理技能 (Agent Skills)?
2026年11月19日
重點摘要
代理技能應從 AI 代理實際無法完成的任務出發,而非為了使用而使用。本文從觸發行為、任務成功率與穩定性,以及執行效率三個面向,說明如何透過測試評估技能品質,持續改善或汰換團隊使用的代理技能。
先前在 E+ 的 Discord 社群中,有讀者許願希望能有「如何寫好代理技能、如何分辨品質好的代理技能」的相關文章。
隨著開發團隊越來越全面使用 AI 代理,代理技能 (agent skills) 的品質好壞,會很直接地影響開發的成果。我們認為這是個非常好的問題,在實務上也推薦大家定時檢視團隊使用的代理技能,包含持續改善品質,甚至是汰換掉不好用、實際沒在用的代理技能。
對此,我們會在這篇來討論這個主題,包含回顧代理技能是什麼,並進一步討論什麼時候該用代理技能、如何判斷代理技能的品質好壞,以及如何持續迭代讓團隊使用的代理技能。
什麼是代理技能?什麼時候該用代理技能?
我們曾經在代理技能剛推出時,寫過 Agent 實作 — 代理技能 (Agent Skills) 是什麼? 解決了什麼問題?,此外也在線上課程中談過 1-2 透過代理技能 (Agent Skills) 讓 AI 的產出更可控,推薦讀者們可以先回顧,再繼續往下閱讀。
在 Anthropic 團隊介紹代理技能的講座 (連結) 中,代理技能的提出者 Barry Zhang 談到一個相信大家都有過的挫折,那就是明明 AI 模型的能力很強,也能解決博士等級的難題,但為什麼有時候要 AI 做事時,AI 卻沒有辦法做好?
Barry Zhang 的觀點是,就像一個通用能力很強的人,如果缺乏專業領域的知識與技能,在解決某個特定領域的問題時,可能也會無法有效做好,AI 代理有同樣的問題。而代理技能就是通過賦予 AI 代理專業技能與知識,讓 AI 代理能夠更有效完成任務。
具體來說,代理技能是一個資料夾,在資料夾中包含提示詞、延伸資源、腳本等內容。這些內容是供代理在執行任務時使用,藉此讓模型去更好地完成某個特定任務。
在評估是否使用代理技能時,推薦先評估 AI 代理是否能在不用代理技能的情況下,就順利完成任務。如果能的話,能不用代理技能就不要用。這是因為次世代模型能力越來越強,許多在前一世代模型無法單獨解決的問題,新世代模型都能有效處理。
在這種狀況下,還提供額外的資料,只會平白佔據輸入窗口,消耗額外的 token,增加使用成本。因此,在判斷是否使用代理技能時,推薦先從實際遇到的問題出發。觀察哪些任務如果放手讓 AI 代理做,沒辦法做到預期的成果,然後從這些問題切入,逐步補上代理技能。
如何判斷代理技能的品質好壞?
上一個段落談到,假如 AI 代理沒辦法順利完成某個任務,這時可以考慮使用代理技能。這時就會進到先前讀者在 Discord 的發問,團隊該「如何分辨品質好的代理技能」。
要辨別高品質的代理技能,要先知道有哪些代理技能的撰寫原則。在網路上能找到的眾多內容中,我們最推薦 Anthropic 團隊出的《Skill authoring best practices》一文,該文有詳細談各種原則,並提供具體的案例。在評估一個代理技能的品質時,可以根據該文提到的要點逐一比對。
除了自行比對外,也可以直接到該文章的頁面點擊複製頁面 (Copy page),然後把內容輸入給 AI,請 AI 根據該文的內容,來評估代理技能是否有符合這些寫作要點。
不過在實務上,如果只是照著上述指南寫,相信會發現一些問題。舉例來說,該指南提到代理技能要寫得精簡 (concise),但同時也提到不能過於模糊 (vague);這時就會遇到「如果要寫足夠明確,可能就不精簡;但縮太短可能又太模糊」的兩難。這時該如何判斷寫的內容是足夠精簡但又不至於模糊呢?
換另一個角度問,有沒有更客觀的評估角度,來確保代理技能的品質足夠好,而不是只靠感覺來判斷?
要做到這點,我們需要先定義「品質好的代理技能」符合哪些要件。就 ExplainThis 團隊本身的使用經驗來說, 我們認為如果某個代理技能符合三個評估面向,才能被稱為品質好的代理技能,以下讓我們分別討論。
首先,第一個是代理技能有沒有被如預期呼叫。如果某個代理技能,在該被呼叫時沒被呼叫,不該被呼叫時卻被用上,不僅會在需要時沒幫上忙,還會讓不需要時額外佔用輸入窗口。
AI 代理會根據代理技能的描述,來判斷在處理某項任務時,是否要呼叫該代理技能。在實務上要判斷時,可以準備兩批任務,一批是代理應該呼叫技能來解決,另一批則是不應該呼叫技能就可以解決。
接著實際用不同的模型跑測試,看看是否會有誤觸發的情形,如果有的話就需要改善。例如假如原本的技能描述寫得太長,想要改得更精簡,調整後就使用上面提到的兩批任務來測試,看看變精簡後,AI 代理是否還能正確呼叫。
💡 若只修改技能內文或腳本,可以優先重跑任務成果的評測;如果修改了名稱、描述,或更換模型與技能配置,則也應重新檢查觸發行為。
第二個推薦要看的是完成預期目標的準確度與穩定性。要驗證這點,可以準備相對應的任務,然後比較相同任務下,使用代理技能與沒有使用,是否有讓任務成功率提高。在做這個驗證時,如果發現有技能跟沒技能的結果差不多,就需要做調整。如果兩者都成功,那代表模型能力早已足夠,可以直接移除該技能;如果兩者都失敗,代表模型能力還不足,但技能寫得不夠理想,所以需要調整技能。
同時,每個任務需要跑多次測試,以確保穩定度足夠。有些時候,AI 代理這次成功完成任務,不代表下次也能夠。所以需要執行多輪測試,如果測試時發現只有一半比例能順利完成任務,那代表需要調整技能,讓 AI 代理使用該技能時更加穩定。特別注意,比較時要固定模型版本、工具、初始資料與設定,並重設執行環境,避免上一輪留下的檔案影響下一輪。
最後一個評估面向是完成任務的效率。效率可以從兩個角度來看,一個是完成任務的速度。假如兩個代理技能都能讓 AI 代理準確且穩定地完成任務,但一個能用更少的步驟,所以更快完成任務,會對開發團隊更有幫助。此外,token 的使用效率,如果能以更少的 token 完成相同的任務,將能有效減少開發團隊實際要付出的金錢成本。
總結來說,除了對照代理技能的寫作原則,要判斷某個代理技能品質是否足夠高,最直接的方式就是實際使用,然後在使用時評估上面提到的三個要點。