LLM 治理 ring_1 首批验证：Overlay 边界、样本差异与阈值迁移

发表于 分类于 阅读次数： Changyan： 本文字数： 6.5k 阅读时长 ≈ 6 分钟
接着稳定基线首月复盘，这篇把 baseline 带入 ring_1 的首个团队 cohort，用 overlay 边界审查、分层样本对照和阈值可迁移性测试，决定继续扩围、局部校准、暂停还是回滚。

上一篇用稳定基线的首个月度窗口区分样本噪声、规则漂移和执行漂移，并在未关闭的问题面前暂停了 ring_1。当规则候选完成验证、容量借用合同也已落地后，扩围门禁可以重新打开。

进入 ring_1 不只是多接入一个团队。新团队会带来不同的项目规模、风险分布、交付节奏和证据生成方式。若直接比较总体通过率，团队差异很容易被误判成 baseline 失效；若允许团队随意改规则，又会让稳定基线在扩围第一步就分叉。

这一轮验证要回答三个问题：团队 overlay 有没有越过稳定基线的控制边界，跨团队指标差异能否被样本结构解释，原有阈值在新 cohort 中是否仍能识别同一种风险。

1. 先冻结首团队 cohort 的验证合同

ring_1 的首批验证需要固定团队、时间、准入数量、风险范围和结果观察截止日。验证期间临时增加项目或改用另一套规则，都会破坏对照关系。

1
2
3
4
5
6
7
8
9
10
11
ring_1_cohort_contract:
  baseline_id: admission_rules_2026_q4_v1_1
  cohort_id: ring_1_platform_team_a_01
  team: internal_platform_team_a
  intake_from: 2026-12-22
  intake_to: 2027-01-19
  outcome_observed_until: 2027-02-02
  intake_limit: 24
  high_risk_limit: 6
  reference_cohort: ring_0_governance_pilot_2026_11
  overlay_id: platform_team_a_overlay_v1

首团队 cohort 不追求一次覆盖所有业务形态。限制总量和高风险项目占比，可以让团队在风险可控的范围内验证规则语义、数据采集和人工复核流程。

baseline_id 与 overlay_id 分开记录。前者说明共享判断口径，后者只描述团队本地接入方式，后续才能定位差异究竟来自基线、overlay，还是样本结构。

2. Overlay 只能适配输入，不能改写底线

团队接入稳定基线时，确实可能需要字段映射、证据来源适配和更严格的本地门槛。overlay 的作用是把这些差异显式化，而不是复制整套规则后自行维护。

Overlay 动作 是否允许 约束
本地字段映射到 baseline 标准字段 允许 保留原始字段与转换记录
增加更严格的团队级检查 允许 不能覆盖共享结果，必须有 owner 和到期日
缩短证据有效期 条件允许 说明本地风险依据并单独监控误拒
放宽共享拒绝阈值 禁止 必须走 baseline change control
跳过必填证据或高影响复核 禁止 视为控制绕过 
1
2
3
4
5
6
7
8
9
10
11
12
13
team_overlay:
  overlay_id: platform_team_a_overlay_v1
  baseline_id: admission_rules_2026_q4_v1_1
  mappings:
    delivery_owner_hours: verified_hours
    dependency_review_at: premise_refreshed_at
  additions:
    production_access_review:
      applies_to: high_risk
      on_fail: require_review
  overrides: []
  owner: platform_team_a_governance_owner
  expires_at: 2027-03-31

overrides 保持为空，是首批验证的重要门槛。若团队认为共享阈值不适用，应先形成迁移证据，再决定提交 baseline change request 或增加有边界的团队检查，不能在 overlay 中直接放宽。

3. 上线前用 shadow replay 检查语义偏移

正式接收新项目之前，可以把团队最近一批已完结项目同时送入 baseline 和 overlay 做 shadow replay。这里不改变历史决定，只检查字段映射和规则行为。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
shadow_replay:
  cohort: platform_team_a_2026_q4_closed_items
  samples: 30
  mapping_coverage: 1.00
  baseline_decision_available: 30
  mismatches:
    - type: missing_semantic_equivalence
      field: verified_hours
      count: 3
    - type: overlay_additional_review
      rule: production_access_review
      count: 4
    - type: baseline_result_override
      count: 0
  gate: fix_mapping_then_replay

字段都有值不代表语义一致。团队记录的 delivery_owner_hours 如果包含临时借用容量，而 baseline 的 verified_hours 要求受保护时间，两者不能仅靠改名完成映射。

shadow replay 的通过条件至少包括：标准字段覆盖完整、映射语义经过 owner 确认、overlay 没有覆盖共享结果、差异案例可逐项解释。映射问题未关闭时，不进入 live cohort。

4. 跨团队比较必须按样本层分开

ring_0 与 ring_1 的总体指标不同，并不能直接证明规则不可迁移。团队 A 如果高风险项目更多、依赖链更长，误拒率和例外率自然可能高于 pilot team。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
cohort_mix:
  ring_0_reference:
    reviewed: 39
    risk_mix:
      low: 0.38
      medium: 0.49
      high: 0.13
    scarce_owner_required: 0.21

  ring_1_team_a:
    reviewed: 21
    risk_mix:
      low: 0.19
      medium: 0.52
      high: 0.29
    scarce_owner_required: 0.43

这组数据里，ring_1 的高风险占比和稀缺 owner 依赖都接近参考 cohort 的两倍。直接比较聚合误拒率，会把组合差异带来的变化算到规则头上。

对照应至少按 risk_level、是否需要稀缺 owner、依赖复杂度和证据成熟度分层。同层样本再比较 false admit、false reject、exception pressure 和 capacity protection gap，才接近同类项目之间的规则行为差异。

5. 用配对案例解释同层差异

分层指标发现异常后，需要回到配对案例。可以从两个 cohort 中选择风险等级、依赖数量和证据成熟度相近的项目，检查规则是否对同类事实给出一致判断。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
matched_case_review:
  stratum: high_risk_scarce_owner
  pairs: 6
  consistent_decisions: 4
  divergent_decisions: 2
  divergence:
    - rule: premise_freshness_window
      ring_0_evidence_latency_days: 2
      ring_1_evidence_latency_days: 6
      baseline_behavior: consistent
      cause: team_process_latency
    - rule: critical_owner_capacity_proof
      baseline_behavior: inconsistent
      cause: overlay_mapping_includes_borrowed_capacity

第一项差异来自团队证据刷新较慢，baseline 对相同输入保持了一致行为。需要改的是团队流程或提交时机，而不是规则阈值。

第二项差异来自 overlay 把借用容量映射为受保护容量，属于接入语义错误。修复映射并重放受影响样本，比提高所有团队的容量阈值更准确。

6. 阈值迁移要分别判断识别力和动作成本

阈值在新团队中“能触发”还不够。它应继续识别同一种风险，并且复核成本不能高到迫使团队绕过流程。

迁移状态 判断证据 动作
portable 同层样本的风险识别和误报水平接近参考 cohort 保持共享阈值
portable_with_overlay 共享风险识别有效，但团队流程需要更严格的本地检查 保留有期限的 overlay
needs_calibration 同类样本持续误判，且差异不能由 mapping 或执行流程解释 发起受控阈值候选
not_portable 阈值语义依赖 pilot team 特有条件 暂停扩围并重审 baseline scope 
1
2
3
4
5
6
7
8
9
10
11
12
13
threshold_portability:
  false_reject_rate:
    ring_0_stratified: 0.082
    ring_1_stratified: 0.095
    confirmed_rule_drift: 0
    review_load_hours_per_week: 1.5
    result: portable

  capacity_protection_gap:
    ring_0_stratified: 0.077
    ring_1_before_mapping_fix: 0.190
    ring_1_after_mapping_fix: 0.086
    result: portable_after_overlay_fix

容量保护缺口修复 mapping 后回到参考范围，说明共享阈值仍可迁移。若修复输入语义后同层差异依然持续，并集中命中同一规则，才进入阈值校准。

不要为每个团队生成一套“更合适”的共享阈值。局部阈值过多会让跨团队指标失去共同含义，也会增加回滚和审计成本。

7. 首批 cohort 用四类决定收口

验证结果不应只剩 pass 或 fail。把问题归到 baseline、overlay、团队流程和高影响风险后，可以形成四种明确动作。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
ring_1_cohort_decision:
  cohort_id: ring_1_platform_team_a_01
  data_gate: pass
  high_impact_false_admit: 0
  baseline_rule_drift_open: 0
  overlay_issues:
    found: 1
    closed: 1
  team_process_issues:
    found: 1
    mitigation_active: true
  threshold_portability:
    portable: 3
    portable_with_overlay: 1
    needs_calibration: 0
    not_portable: 0
  decision: promote_cohort

四类决定可以这样使用：

  • promote_cohort：风险可接受，允许该团队继续使用当前 baseline。
  • tune_overlay：共享规则有效，修复字段映射或有边界的本地检查后复测。
  • hold_ring：数据不足或存在未解释的同层差异，保持当前范围继续观察。
  • rollback_cohort：出现高影响误收、控制绕过或不可接受的规则行为，按合同退出当前 cohort。

tune_overlay 不应顺带修改 baseline；hold_ring 也不代表已接入团队必须回滚。动作对象写清楚，才能避免一个局部问题触发过度处置。

8. 通过后仍按容量台阶扩展

首团队 cohort 通过后，可以解除本团队的 intake 上限，但不宜立即把 ring_1 开放给所有团队。下一批应选择样本结构不同、又能提供完整证据的团队继续验证。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
ring_1_expansion:
  baseline_id: admission_rules_2026_q4_v1_1
  current:
    team: internal_platform_team_a
    status: promoted
    intake_limit: 24
  next:
    team: internal_platform_team_b
    reason: higher_external_dependency_mix
    intake_limit: 20
    required_checks:
      - overlay_reuse_review
      - stratified_metric_comparison
      - threshold_portability_review
  ring_2_gate: pending_second_team_cohort

第二个团队不是重复走一遍表单，而是验证首团队结论能否复用：哪些 overlay mapping 是平台共性，哪些只属于团队 A；阈值在另一种样本结构下是否仍保持识别力。

只有两个不同团队都能在同一 baseline 下闭环差异，才有足够证据讨论 ring_2。否则应继续停留在 ring_1，收敛接入合同和 baseline scope。

9. 一个可复用的 ring_1 首批验证模板

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
ring_1_first_cohort_review:
  contract:
    baseline_id: admission_rules_2026_q4_v1_1
    cohort_id: ring_1_platform_team_a_01
    reference: ring_0_governance_pilot_2026_11
    intake_limit: 24

  overlay:
    id: platform_team_a_overlay_v1
    mappings_reviewed: true
    baseline_overrides: 0
    local_checks: 1

  sample_comparison:
    stratified_by:
      - risk_level
      - scarce_owner_required
      - dependency_complexity
      - evidence_maturity
    matched_pairs_reviewed: 6
    unexplained_divergence: 0

  portability:
    portable: 3
    portable_with_overlay: 1
    needs_calibration: 0
    not_portable: 0

  decision:
    cohort: promote_cohort
    baseline_change: not_required
    next_team_cohort: approved
    ring_2: hold

模板的关键不是填满字段，而是让每项差异都能回到一种责任边界：baseline 判断、overlay 适配、团队执行流程或样本结构。无法归因的差异继续保留为 blocker，不用“总体看起来正常”将其关闭。

小结

稳定基线进入 ring_1 后，首个团队 cohort 验证的是跨团队可用性，不是单纯增加一批运行数据。

验证合同先固定 cohort 和风险边界。overlay 只负责字段映射与更严格的本地检查，不能放宽共享底线；上线前用 shadow replay 排除语义偏移。跨团队指标按风险、owner 稀缺度、依赖复杂度和证据成熟度分层，再通过配对案例判断差异来自规则、接入还是执行流程。

阈值迁移同时检查风险识别力与动作成本，并收口为 portable、portable_with_overlay、needs_calibration 或 not_portable。首团队通过后，继续用第二个团队验证 overlay 复用边界和跨团队收敛，再决定是否开放 ring_2。

本文永久链接: https://www.mulianju.com/learning-notes/ai-learning-notes-llm-governance-ring-1-first-team-cohort-overlay-boundary-sample-difference-threshold-portability/