PLS job 24ef41bb AI prediction seed queue builder

acceptance-tests.md

Acceptance Tests

Artifact kind: e2e_verification.

Seed Queue 驗收

測試	方法	Pass
Candidate pool size	匯入候選	>= 70 筆候選
Required fields	quality check	50 筆 selected candidates 100% 有 owner/due/expected evidence/impact metric
Source coverage	計算 expected sources	6 種來源至少各覆蓋 1 筆
Owner diversity	統計 owner	至少 3 位 owner
High-impact quota	統計 impact	至少 10 筆 revenue/risk/labor 高影響
Reviewer decision	檢查 append-only decision	Louis/zihrou/iron 至少各一筆 decision 或 explicit delegation
Export snapshot	匯出 trial runner input	產生 immutable JSON/CSV snapshot
Duplicate dispatch prevention	D7 前再派 build	若 queue 未 accepted，PLS 改派 seed_queue_completion，不派 dashboard build

E2E Verification

1. 建立 seed queue。
2. 匯入 70 筆候選 prediction。
3. 跑 quality check。
4. 選出 50 筆 selected candidates。
5. Louis/zihrou/iron 留 reviewer decision。
6. 匯出 trial runner input。
7. D7 Evidence Trial Runner 使用 export snapshot。
8. 若 quality score < 90，回寫 review prompt 修正任務。

本輪驗證

• HTML primary artifact 包含 D1/D7/D14/D30、目的到目的 E2E、價值/錢路徑、human capability、solution stack、LINE 草稿。
• learning-memory.json 必須通過 JSON parser。
• Durable Gist 必須 HTTP 200。
• PLS upload-files 必須回傳 uploaded=8。

Owner / Due / Acceptance

• Owner：Louis。
• Reviewers：zihrou、iron。
• Due：2026-05-31。
• Acceptance：50 筆 selected candidates、seed_quality_score >= 90、6 source coverage、reviewer decision、decision-record 存檔。

artifact-url-or-pr.md

Artifact URL Or PR

Durable primary artifact:

https://gist.github.com/esz135888/31ec3c02c7409c361eafb53fb512320f

Verification:

• Local JSON validation passed for learning-memory.json.
• Required artifact anchors exist: market_context, production_readiness, e2e_verification, people_sync, learning_memory.
• Gist must return HTTP 200 after redirect before PLS completion.

data-model.md

Data Model / API / 同步與權限

Artifact kind: production_readiness.

Tables

prediction_seed_queue

欄位	型別	必填	說明
id	uuid	yes	queue id
project_id	uuid	yes	PLS project
window_start	date	yes	抽樣期間
window_end	date	yes	抽樣期間
target_size	integer	yes	D7 = 50
status	enum	yes	draft, ready_for_review, accepted, rejected, exported
owner_person_id	text	yes	Louis
due_at	timestamptz	yes	queue 完成期限
seed_quality_score	numeric	yes	完整度與覆蓋分數

seed_candidate

欄位	型別	必填	說明
id	uuid	yes	candidate id
queue_id	uuid	yes	queue
prediction_id	uuid/text	yes	來源 prediction
claim_text	text	yes	可驗證敘述
owner_person_id	text	yes	prediction owner
due_date	date	yes	預期命中時間
expected_evidence_sources	text[]	yes	signals/action_items/github/worker/deployment/review_notes
impact_metric	enum	yes	revenue, cost, risk, conversion, labor, project
priority	enum	yes	P0, P1, P2, P3
reviewer_person_id	text	yes	Louis/zihrou/iron
selected_for_trial	boolean	yes	是否進 50 筆

seed_quality_check

欄位	型別	必填	說明
id	uuid	yes	check id
seed_candidate_id	uuid	yes	candidate
has_owner	boolean	yes	owner 完整
has_due	boolean	yes	due 完整
has_expected_evidence	boolean	yes	evidence 完整
has_impact_metric	boolean	yes	business meaning 完整
quality_status	enum	yes	pass, needs_fix, reject
fix_reason	text	no	缺什麼

seed_reviewer_decision

欄位	型別	必填	說明
id	uuid	yes	decision id
queue_id	uuid	yes	queue
reviewer_person_id	text	yes	Louis/zihrou/iron
decision	enum	yes	accept, replace, reject
note	text	yes	理由
replacement_prediction_ids	text[]	no	替換清單

API

POST /api/ai-prediction/seed-queues
POST /api/ai-prediction/seed-queues/:id/candidates/import
POST /api/ai-prediction/seed-queues/:id/quality-check
POST /api/ai-prediction/seed-queues/:id/reviewer-decisions
POST /api/ai-prediction/seed-queues/:id/export-trial-runner
GET  /api/ai-prediction/seed-queues/:id

權限 / 稽核

• Louis：建立 queue、accept/reject 50 筆、調整優先級。
• zihrou：審 miss taxonomy 與 reviewer decision，不可刪 evidence 欄位。
• iron：標 source readiness、匯出 trial runner input。
• worker：只能建議 candidates 與 quality checks，不可標 accepted。
• 稽核：reviewer decision append-only；candidate replacement 保留 before/after；export 產生 immutable snapshot。

同步規格

• 來源：AI review prediction、action items、signals、GitHub commit reflections、worker completion artifacts。
• 同步頻率：D1 手動建立；D30 每週自動。
• PLS 後台：seed queue 應掛在 AI prediction verification module 下，並在 dispatch 前檢查 status=accepted。

decision-record.md

Decision Record

決策

本輪採用「50 筆 Seed Queue Builder」作為 production artifact，承接前兩輪 calibration gate 與 Evidence Trial Runner。

背景

同一 AI 預測驗證訊號已多次進入 PLS。若每輪都交付新的架構包，專案不會進入 D7 trial。現在需要的是 seed queue，決定「到底要驗證哪 50 筆」。

選項

A. 再做 dashboard

優點：視覺完整。缺點：沒有 50 筆 seed 就無資料可顯示。

B. 再做 evidence runner

優點：延續前輪。缺點：前輪已做，重複。

C. 做 Seed Queue Builder

優點：直接解決 D7 trial 的前置缺口；讓 Louis/zihrou/iron 只需拍板 seed、taxonomy、source readiness。

推薦

採用 C。

採用狀態

建議採用。未完成 accepted seed queue 前，不應再派新的 generic AI prediction dashboard/module build。

落地路徑

1. PLS 從近 30 天 AI review 產生 70 筆候選。
2. Quality check 移除缺 owner/due/evidence/impact 的 prediction。
3. Louis 選 50 筆。
4. zihrou 審 taxonomy。
5. iron 匯出 D7 trial runner input。

不採用時需回饋

• 是否已有 50 筆 seed 清單？
• 哪個欄位太重或缺漏？
• 是否要調整 source coverage 或 high-impact quota？
• 是否要把 due 改成其他 trial 日期？

learning-memory.json

{
  "job_id": "24ef41bb-353d-4f50-85ab-1cde4e26f078",
  "memory_type": "learning_memory",
  "project": "AI 自建專案：公司AI化 的最大化推進",
  "topic": "AI prediction verification seed queue",
  "market_context": [
    "Production AI observability patterns require structured evaluation datasets, not only traces or dashboards.",
    "OpenTelemetry, Evidently, Phoenix, and LangSmith patterns all imply a need for reproducible samples, labels, and reviewer decisions.",
    "For PLS, the missing object is the seed queue that turns AI review claims into a stable evaluation dataset."
  ],
  "next_worker_instruction": "Before making another AI prediction verification artifact, check whether prediction_seed_queue exists and status=accepted. If not, build/import the 70-candidate pool and get Louis/zihrou/iron reviewer decisions. Only after accepted 50-case queue should the D7 Evidence Trial Runner run.",
  "owners": {
    "primary": "Louis",
    "reviewers": ["zihrou", "iron"]
  },
  "acceptance": [
    "70 candidate predictions imported",
    "50 selected candidates complete",
    "seed_quality_score >= 90",
    "6 evidence sources covered",
    "Louis/zihrou/iron reviewer decisions stored",
    "export snapshot generated for D7 trial",
    "decision-record.md attached"
  ]
}

prediction-seed-queue-builder.html

<!doctype html>
<html lang="zh-Hant">
<head>
  <meta charset="utf-8">
  <meta name="viewport" content="width=device-width, initial-scale=1">
  <title>AI 預測驗證 50 筆 Seed Queue Builder</title>
  <style>
    :root {
      --bg: #f4f1ea;
      --panel: #fffdf7;
      --ink: #202420;
      --muted: #656a61;
      --line: #d7cfc1;
      --blue: #235f8f;
      --green: #14705c;
      --gold: #ad7415;
      --red: #a74c42;
    }
    * { box-sizing: border-box; }
    body {
      margin: 0;
      background: var(--bg);
      color: var(--ink);
      font-family: "PingFang TC", "Noto Sans TC", ui-sans-serif, system-ui, sans-serif;
      line-height: 1.55;
    }
    header {
      padding: 42px 6vw 30px;
      background: #fff8e8;
      border-bottom: 1px solid var(--line);
    }
    .eyebrow {
      color: var(--blue);
      font-weight: 800;
      letter-spacing: .05em;
      text-transform: uppercase;
      font-size: 12px;
    }
    h1 {
      margin: 10px 0;
      max-width: 1080px;
      font-size: clamp(34px, 5vw, 70px);
      line-height: 1.04;
      letter-spacing: 0;
    }
    .lede {
      max-width: 940px;
      color: var(--muted);
      font-size: 19px;
    }
    main {
      padding: 28px 6vw 58px;
      display: grid;
      gap: 18px;
    }
    section {
      background: var(--panel);
      border: 1px solid var(--line);
      border-radius: 8px;
      padding: 22px;
      box-shadow: 0 12px 30px rgba(40, 34, 24, .08);
    }
    h2 { margin: 0 0 14px; font-size: 24px; }
    .grid {
      display: grid;
      grid-template-columns: repeat(4, minmax(0, 1fr));
      gap: 12px;
    }
    .two {
      display: grid;
      grid-template-columns: repeat(2, minmax(0, 1fr));
      gap: 14px;
    }
    .card {
      border: 1px solid var(--line);
      border-radius: 8px;
      background: #fffdf8;
      padding: 15px;
    }
    .tag {
      display: inline-flex;
      border: 1px solid var(--line);
      border-radius: 99px;
      padding: 2px 9px;
      margin-bottom: 9px;
      color: var(--muted);
      font-size: 12px;
      font-weight: 800;
    }
    table {
      width: 100%;
      border-collapse: collapse;
      font-size: 14px;
    }
    th, td {
      border-bottom: 1px solid var(--line);
      padding: 9px 8px;
      text-align: left;
      vertical-align: top;
    }
    th {
      color: var(--blue);
      font-size: 12px;
      letter-spacing: .04em;
      text-transform: uppercase;
    }
    ul, ol { margin: 0; padding-left: 20px; }
    li { margin: 6px 0; }
    code {
      background: #eee7dc;
      border: 1px solid var(--line);
      border-radius: 5px;
      padding: 1px 5px;
      font-family: ui-monospace, SFMono-Regular, Menlo, monospace;
    }
    .ok { color: var(--green); font-weight: 800; }
    .watch { color: var(--gold); font-weight: 800; }
    .stop { color: var(--red); font-weight: 800; }
    @media (max-width: 920px) {
      header, main { padding-left: 18px; padding-right: 18px; }
      .grid, .two { grid-template-columns: 1fr; }
    }
  </style>
</head>
<body>
  <header>
    <div class="eyebrow">primary_artifact / production_readiness / people_sync</div>
    <h1>AI 預測驗證 50 筆 Seed Queue Builder</h1>
    <p class="lede">前兩輪已經定義 calibration gate 與 D7 trial runner。本輪把「要跑哪 50 筆」做成可採用的 seed queue 規格：欄位、抽樣規則、責任人、品質門檻、LINE 回覆格式與進 PLS 後台的同步契約。</p>
  </header>
  <main>
    <section>
      <h2>D1 / D7 / D14 / D30 路徑</h2>
      <div class="grid">
        <div class="card"><span class="tag">D1</span><strong>50 筆候選池</strong><br>從近 30 天 AI review 挑 70 筆候選，補齊 owner、due、expected evidence。</div>
        <div class="card"><span class="tag">D7</span><strong>鎖定 50 筆試跑</strong><br>Louis 拍板 50 筆；zihrou 審 miss taxonomy；iron 確認 evidence source readiness。</div>
        <div class="card"><span class="tag">D14</span><strong>Seed 品質回饋</strong><br>缺 owner/due/evidence 的 prediction 回到 review prompt template 修正。</div>
        <div class="card"><span class="tag">D30</span><strong>自動抽樣</strong><br>PLS 每週自動建立 prediction seed queue，不再人工整理。</div>
      </div>
    </section>

    <section>
      <h2>目的到目的 E2E</h2>
      <div class="two">
        <div class="card">
          <ol>
            <li>AI review 產生可驗證 prediction。</li>
            <li>Seed Queue Builder 檢查 owner、due、expected evidence、impact metric。</li>
            <li>Louis / zihrou / iron 對同一張 queue 做拍板、taxonomy、source readiness。</li>
            <li>通過的 50 筆進 D7 Evidence Trial Runner。</li>
            <li>結果回寫 review prompt、adapter gap、correction action item。</li>
          </ol>
        </div>
        <div class="card">
          <ul>
            <li>專案改善：prediction 不再模糊，能被驗收。</li>
            <li>錢路徑：優先驗證高營收 / 高風險 / 高人力釋放 prediction。</li>
            <li>風險改善：無 owner 或無 evidence 的 prediction 不進 trial。</li>
            <li>人的能力：大家學會寫「可證明」的 AI 管理判斷。</li>
          </ul>
        </div>
      </div>
    </section>

    <section>
      <h2>Seed Queue 欄位</h2>
      <table>
        <thead><tr><th>欄位</th><th>必填</th><th>用途</th><th>不合格處理</th></tr></thead>
        <tbody>
          <tr><td><code>prediction_id</code></td><td>是</td><td>連回 review claim</td><td>退回來源 review</td></tr>
          <tr><td><code>claim_text</code></td><td>是</td><td>可驗證敘述</td><td>改寫成具體結果</td></tr>
          <tr><td><code>owner</code></td><td>是</td><td>採納與修正責任</td><td>不能進 D7</td></tr>
          <tr><td><code>due_date</code></td><td>是</td><td>判斷是否該命中</td><td>不能進 D7</td></tr>
          <tr><td><code>expected_evidence_sources</code></td><td>是</td><td>signals/action_items/GitHub/worker/deployment/review notes</td><td>標 source_gap</td></tr>
          <tr><td><code>impact_metric</code></td><td>是</td><td>revenue/cost/risk/conversion/labor/project</td><td>退回補 business meaning</td></tr>
          <tr><td><code>priority</code></td><td>是</td><td>P0/P1 優先抽樣</td><td>預設 P2，不列核心 50</td></tr>
          <tr><td><code>reviewer</code></td><td>是</td><td>Louis/zihrou/iron sample owner</td><td>不能完成 sample</td></tr>
          <tr><td><code>adoption_signal_needed</code></td><td>是</td><td>人要回覆什麼才算採納</td><td>LINE 草稿不可送出</td></tr>
        </tbody>
      </table>
    </section>

    <section>
      <h2>抽樣與驗收</h2>
      <div class="two">
        <div class="card">
          <p><span class="ok">必選：</span>近 30 天、P0/P1、涉及 Louis 指令、工具標準、AI 派工 SOP、跨部門風控、AI 行銷效率。</p>
          <p><span class="watch">配額：</span>至少 3 位 owner；至少 6 種 evidence source；至少 10 筆高風險或高營收 impact。</p>
          <p><span class="stop">排除：</span>沒有 owner、沒有 due、沒有 expected evidence、只有情緒判斷或純願望的 prediction。</p>
        </div>
        <div class="card">
          <ul>
            <li>50 筆 seed completeness = 100%。</li>
            <li>reviewer sample owner 覆蓋 Louis/zihrou/iron。</li>
            <li>seed_quality_score >= 90 才能跑 D7。</li>
            <li>低於 90 時，先修 review prompt template。</li>
          </ul>
        </div>
      </div>
    </section>

    <section>
      <h2>LINE 採納草稿</h2>
      <div class="card">
        <p>「已把 AI 預測驗證下一步收斂成 50 筆 seed queue。請 Louis 先拍板：這 50 筆是否代表本週要驗證的公司 AI 化判斷；zihrou 看 miss taxonomy 是否能區分方向/資源/授權/執行；iron 回覆哪幾個 evidence source 可同步。回覆格式：同意 / 要替換哪幾筆 / 缺哪個 source。未完成 seed queue 前不再派新的 dashboard build。」</p>
      </div>
    </section>
  </main>
</body>
</html>

production-brief.md

AI 預測驗證 50 筆 Seed Queue Builder - Production Brief

Artifact kind: primary_artifact, people_sync.

場景

同一個「AI 預測驗證」訊號已連續進入 PLS。前序成果已建立 calibration gate 與 Evidence Trial Runner。現在真正卡點不是再設計模組，而是要產生一批可以驗證的 50 筆 prediction seed queue，讓 D7 trial 能開跑。

D1 / D7 / D14 / D30

時程	成果	Owner	驗收
D1	建立 70 筆候選 seed pool	Louis	每筆有 owner、due、expected evidence、impact metric
D7	鎖定 50 筆 trial queue	Louis + iron	seed_quality_score >= 90，且 6 種 evidence source 覆蓋
D14	缺欄位回饋到 review prompt	zihrou	無 owner/due/evidence 的 prediction 比例下降
D30	PLS 自動產生每週 seed queue	iron	queue 自動生成、人工只 review 例外

目的到目的 E2E

原始目的：核對 AI review prediction 是否命中。

本輪把目的推到可執行：

1. AI review 產出 prediction。
2. Seed Queue Builder 檢查 prediction 是否可驗證。
3. 50 筆合格 seed 進 Evidence Trial Runner。
4. Trial 產生 hit/miss/unknown 與 source gap。
5. 結果回寫 correction action item 與 review prompt template。
6. 公司 AI 化週會用結果改善專案、錢、風險與人力配置。

價值 / 錢路徑

• 營收：優先抽樣高營收、高轉換、高客戶交付影響的 prediction。
• 成本：未完成 seed queue 前不派新的 dashboard 或 module build，減少重複 AI 工時。
• 風險：排除無 owner、無 due、無 evidence 的 prediction，避免假驗證。
• 轉換：LINE 要求具體採納訊號，不只通知。
• 人力：reviewer 只處理 50 筆高價值 seed，不人工翻整全部脈絡。

提升人的能力

• Louis：能用 seed queue 選擇本週最重要的 AI 判斷，不被大量訊號淹沒。
• zihrou：能把 miss taxonomy 用在具體 prediction，而不是抽象討論。
• iron：能把缺 source 的 prediction 直接轉成 adapter 工單。
• 其他 owner：學會 prediction 必須有 owner、due、expected evidence、impact metric。

Solution Stack

層	本輪成果
脈絡框架	prediction 要先通過 seed quality，才值得跑命中驗證。
作業流程	candidate pool -> quality gate -> 50-case queue -> D7 runner -> correction loop。
資料 / DB	prediction_seed_queue、seed_candidate、seed_quality_check、seed_reviewer_decision。
工具	prediction-seed-queue-builder.html 作為可打開的 seed queue 規格。
驗收	seed_quality_score >= 90、50 筆完整、6 種 source 覆蓋、採納訊號存在。
採用升級	LINE 草稿要求 Louis/zihrou/iron 回覆同意、替換、source gap。

People Sync

LINE 草稿：

「已把 AI 預測驗證下一步收斂成 50 筆 seed queue。請 Louis 先拍板：這 50 筆是否代表本週要驗證的公司 AI 化判斷；zihrou 看 miss taxonomy 是否能區分方向/資源/授權/執行；iron 回覆哪幾個 evidence source 可同步。回覆格式：同意 / 要替換哪幾筆 / 缺哪個 source。未完成 seed queue 前不再派新的 dashboard build。」

期待回覆：

• Louis：同意 50 筆，或列出要替換的 prediction id。
• zihrou：taxonomy 同意或修改。
• iron：source readiness 與缺口。

下一輪升級

把真實 50 筆 seed 匯入 prediction_seed_queue，產出第一版 CSV/JSON，再交給 D7 Evidence Trial Runner。

sources.md

Market Context

Artifact kind: market_context.

Checked on 2026-05-24 Asia/Taipei.

Sources

• OpenTelemetry GenAI semantic conventions: https://opentelemetry.io/docs/specs/semconv/gen-ai/
• OpenTelemetry, "Inside the LLM Call: GenAI Observability with OpenTelemetry", 2026-05-14: https://opentelemetry.io/blog/2026/genai-observability/
• Evidently open-source ML and LLM observability: https://www.evidentlyai.com/evidently-oss
• Arize Phoenix docs: https://arize.com/docs/phoenix/
• LangSmith AI observability overview: https://info.langchain.com/AI-Observability

Applied Learning

Market practice shows that production observability is only useful when paired with reproducible evaluation sets, labels, and reviewer decisions. PLS therefore needs a seed queue before dashboards or calibration summaries can be trusted. This queue becomes the evaluation dataset for the D7 trial.