AI 学习笔记(五十二):LLM 年度治理资产分层盘点、失效控制退场与新周期策略继承边界

上一篇把重点放在基线变更后的效果回看、复开信号预警和年度治理资产沉淀。

但到了真正做年终收口的时候,团队马上会碰到另一个更麻烦的问题:沉淀下来的东西太多了,什么都像资产,什么都舍不得删,最后新周期一启动,大家又把旧规则、旧模板、旧例外说明一股脑搬回来继续用。

问题不在于有没有留档,而在于有没有把资产分层、给过期内容安排退场、给还能复用的内容划清继承边界。没有这一步,所谓年度沉淀很容易变成年度堆积。

这篇继续沿着 LLM 治理闭环往下写,重点放在三件事:

  1. 年度治理资产应该怎么分层,避免什么都塞进同一个包里
  2. 哪些资产应该设置失效控制并主动退场,而不是无限续存
  3. 新周期启动时,哪些东西可以直接继承,哪些必须重新过审

1. 年度盘点先分层,不要把规则、证据和事故材料揉成一类

很多团队做年度资产盘点时,默认动作就是“把今年所有治理材料归档一下”。

这一步看起来认真,实际没有把最关键的问题解决掉。因为准入基线、例外台账、复盘结论、临时脚本、事故证据和季度截图,本来就不是一种东西。它们的复用方式、有效期和失效条件完全不同,硬塞到同一层,只会让下一次检索变得更慢。

我一般会先把资产拆成四层:

  1. baseline_assets:还在生效的准入基线、门槛规则和基线变更记录
  2. evidence_assets:已经被验证可复用的证据模板、指标口径和检查清单
  3. decision_assets:重要例外、策略退出结论、跨周期承诺清算结果
  4. history_assets:事故样本、失效模板、过期脚本、只保留背景价值的历史材料

这四层最核心的区别,不是目录长相,而是默认动作不同。

baseline_assets 要支持直接拿来做下一轮准入判断;evidence_assets 要支持快速复用;decision_assets 要回答“当时为什么这么定”;history_assets 只负责提供背景,不应该继续进入默认工作流。

分层做对了,团队后面讨论的就不再是“这个文件要不要留”,而是“它应该继续影响什么判断”。这才是年度盘点真正有用的地方。

2. 主线资产只留还能直接驱动判断的东西

年度资产里最容易膨胀的是主线资产。

每个季度都会多出几条规则、几份报告、几套补充口径。时间一长,主线包越来越厚,但真正还会被一线 owner 拿来做判断的内容可能只有一小部分。

所以我会反着问:如果明天开一场新周期准入评审,这份资产有没有资格被直接摆在桌上?

只有满足下面三个条件,我才会把它放进主线层:

  1. 当前风险场景还存在
  2. 规则或证据口径最近一个周期仍然被证明有效
  3. owner 愿意继续拿它做默认判断

第三条特别重要。很多资产在文档里还写着 active,但一线团队已经悄悄不再相信它。再把这种东西放进主线,只会让治理流程看起来完整,实际执行全靠临场经验。

年度主线资产宁可少一点,也不要混入“形式上还活着,实际上没人真用”的条目。

3. 证据资产要保留复用条件,不然模板越留越危险

模板和检查清单很容易给人一种安全感。

它们看起来标准、整齐、可复制,所以团队常常习惯把所有模板都保留下来,觉得“以后说不定还用得上”。

问题是,证据模板一旦脱离使用边界,就会从资产变成误导。一个在高流量 prompt 变更里很好用的检查清单,未必适合低风险配置更新;一个在模型切换场景里跑得通的指标口径,也未必能直接套到 retrieval 质量回看里。

所以证据资产至少要带三类信息:

1
2
3
4
5
6
7
8
9
10
evidence_asset:
asset_id: canary_metric_review_template_v2
valid_scope: high_traffic_prompt_change
required_inputs:
- canary_metrics
- reopen_rate
- rollback_trace
invalid_when:
- review_window_missing
- owner_not_confirmed

我会很在意 valid_scopeinvalid_when 这两项。因为它们直接决定模板是在帮团队省时间,还是在制造一种“我们已经按流程做过”的错觉。

保留模板没有问题,问题在于模板是不是带着适用边界一起被保留下来了。

4. 退场资产不要只做冷归档,要明确它为什么不能再回到主线

很多失效资产的问题不在于还留着,而在于它们没有被明确标记成“不能直接复用”。

结果就是明年有人搜到一份旧策略说明、一张旧评分表、一个旧放宽口径,看起来内容完整,就顺手重新拿回来用。等到后面出现偏差,大家才发现它其实对应的是去年完全不同的风险结构。

所以我不会只给退场资产打一个 archived 标签。我更在意三条理由:

  1. 它为什么退场
  2. 退场后失去了哪种前提
  3. 如果未来重新启用,需要补哪些再验证动作

例如:

1
2
3
4
5
6
7
8
9
retired_asset:
asset_id: low_risk_exception_fastlane_2026q1
retire_reason: reviewer_capacity_changed
no_longer_valid_for:
- default_admission
- quarterly_exception_renewal
reactivate_requires:
- current_capacity_recheck
- recent_reopen_sample_review

这类记录的价值,是防止旧资产以“看起来还挺像回事”的方式偷偷回流主线。

年度退场的重点不是存进去,而是明确告诉后来的人:这个东西现在为什么不能直接用。

5. 失效控制要前置,不要等到下一年启动时再清算

如果资产失效的判断都留到下一年再做,治理库通常已经来不及收拾了。

更稳的方式是给关键资产提前挂上失效控制。也就是在本周期里就写清楚:什么情况下它要降级,什么情况下它必须退出,什么情况下只能带着复核条件续存。

我习惯给关键资产配三个最小字段:

  1. valid_until:最晚有效时间
  2. invalidate_on:触发失效的条件
  3. renewal_gate:想续存时必须补的验证动作

这样做的好处很直接。

第一,资产不会默认永久有效。第二,续存变成需要举证的动作,而不是默认顺延。第三,团队能把“删资产”从情绪判断变成制度动作。

治理资产最大的隐患,不是有人误删,而是没人敢删。因为一旦没人负责给失效资产退场,第二年留下来的就不再是经验,而是一层层叠上去的旧判断。

6. 新周期继承边界要分成可继承、待复核、禁止直传三类

我不建议用“保留”或者“废弃”两档来处理新周期继承。

很多治理资产其实处在中间地带。它没有坏到必须删除,但也还没稳到可以原封不动进入下一轮默认判断。这个时候最容易出错的,就是团队为了省事,直接把它当成已继承资产。

我会把继承边界拆成三类:

  1. inherit:可以直接进入新周期主线
  2. requalify:可以保留,但新周期首次使用前必须复核
  3. drop:只能留历史,不允许直接带入新周期

判断标准也尽量简单:

  • 规则仍在高频场景里有效,而且近期没有明显副作用,进 inherit
  • 规则还有价值,但风险结构、容量条件或指标口径已经变化,进 requalify
  • 规则依赖的前提已经消失,或者副作用已经大于收益,进 drop

真正能减少争议的,不是把分类讲得多复杂,而是让 owner 知道每一类后面意味着什么动作。

inherit 代表默认可用,requalify 代表先别急着用,drop 代表别拿历史材料冒充现行规则。

7. 一周执行清单

  1. 第 1 天:把年度治理资产按基线、证据、决策、历史四层重新归类
  2. 第 2 天:给主线资产补齐 owner、适用范围和最近一次有效性证据
  3. 第 3 天:给模板和检查清单补 valid_scoperequired_inputsinvalid_when
  4. 第 4-5 天:对退场资产补齐退场原因、失效前提和重新启用条件
  5. 第 6 天:给关键资产补 valid_untilinvalidate_onrenewal_gate
  6. 第 7 天:把全部资产标成 inheritrequalifydrop 三档,作为新周期启动包

年度治理盘点做得好不好,不看你留了多少文档,而看你有没有把“还能直接用的东西”和“只能当历史参考的东西”硬拆开。

小结

这一篇补的是年终盘点里最容易被忽视的一层:治理资产不是存下来就算完成,真正麻烦的是它们在下一周期到底该以什么身份继续存在。

我的经验是,年度治理做久了以后,最值钱的能力不是写更多规则,而是能稳定回答三件事:这份资产现在还在不在主线,它什么时候应该退场,它能不能带着原样进入下一轮默认判断。把这三件事做清楚,治理资产才会越积越准;做不清楚,资产库只会越积越重。

如果只能先做一个最小版本,我会先抓三步:

  1. 把年度资产硬拆成主线、证据、决策、历史四层
  2. 给关键资产补齐失效条件和续存闸门
  3. 在新周期开始前,把全部资产标成 inheritrequalifydrop

做到这里,下一轮治理启动时,团队面对的就不是一堆旧文档,而是一套带边界、带有效期、带复核动作的可用资产。

下一篇学习笔记我会继续写:LLM 治理资产复用评分、跨团队继承冲突处理与新周期基线播种节奏

本文永久链接: https://www.mulianju.com/learning-notes/ai-learning-notes-llm-governance-asset-layering-expiry-control-strategy-inheritance-boundaries/