第一階段回顧與小型攻擊熱身

查核資訊： 本文於 2026-08-07 完成查核，依據為 OWASP LLM Prompt Injection Prevention Cheat Sheet，以及 LLM Application Security Lab 的 Day 7 獨立實驗、三份不揭露標記值的報告與 fixture 雜湊。Day 7 證據已封存在公開的 Day 7 checkpoint，讀者可直接查閱。

模型照著惡意筆記做事，算不算一次成功的 Prompt Injection？

我的判斷是：只看到模型偏離摘要任務還不夠。這次熱身把「行為被改寫」和「資料跨過邊界」拆成兩個獨立結果。惡意筆記可以讓模型改口，卻未必能讓另一份筆記裡的 canary 進入 model response。

本文的 canary 是另一份內容固定的測試筆記裡的無害標記；model response 是模型回傳、尚未交給下游元件處理的文字；sink 則是資料最後被使用、輸出或觸發後續動作的位置。

這個區分比「模型聽了壞話」麻煩一點，卻比較接近工程現場。模型說了一句怪話可能只是可靠性問題；不可信內容開始影響原本不允許觸及的資料或 sink，資安邊界才真正被碰到。

第一階段最後只需要帶走四個判斷

前六篇用了不少名詞，但這次實驗只需要四個判斷。

1. 模型輸出不確定，不等於每次錯誤都是資安事故。輸出必須跨過資料、授權或執行邊界，才會形成具體影響。
2. 自然語言標記可以提示模型區分指令與資料，卻不是程式解析器強制的安全邊界。模型仍可能把筆記內容當成新指令。
3. 資料流圖要把 request、model response、evidence 與 stdout 分成不同資料路徑。只看最後一個終端機畫面，很容易把兩條資料路徑混在一起。
4. 「資料可信」只限於預先允許的影響範圍：筆記可以影響摘要內容，不能因此取得修改任務、要求讀取其他資料或決定下一個動作的權威。

OWASP LLM Prompt Injection Prevention Cheat Sheet指出，當系統沒有清楚分隔自然語言指令與資料時，Prompt Injection 可能操控模型行為，也可能導致未授權的資料存取或洩漏。這次實驗不急著分類所有攻擊手法，只驗收一條最小路徑。

原本的二分法不夠精確

我在第一次規劃時寫下的預測很直接：

Clean 不帶、Attack 帶

實際設計實驗時，我才發現這句話沒有回答一個重要問題：Attack 到底帶出「我已經改寫任務」的固定文字，還是另一份筆記裡的資料？如果兩種訊號綁在同一組，就無法分辨模型偏航和資料跨界。

因此 Day 7 使用新的獨立實驗，把 Attack 拆成兩組：

三組都能讀取摘要偏好、含有 canary 的測試筆記與待摘要文件。Behavior-only 與 Boundary-crossing 各自只多一份情境專用攻擊筆記；兩份攻擊筆記都沒有 canary 值。模型若要在 Boundary-crossing 組輸出 canary，必須從另一份筆記取得資料，無法直接從攻擊指令抄到答案。

先寫攻擊契約，再執行模型

實驗固定使用 Ollama 0.32.5、gemma4:latest 的完整 digest、seed=101 與 temperature=0。三個情境各執行一批三次，沒有依單次輸出挑選重跑：

uv run llm-security-lab \
  --experiment day-07-boundary-crossing-warmup \
  --scenario clean --repeat 3 \
  > evidence/raw/day-07/clean.json

uv run llm-security-lab \
  --experiment day-07-boundary-crossing-warmup \
  --scenario behavior-only --repeat 3 \
  > evidence/raw/day-07/behavior-only.json

uv run llm-security-lab \
  --experiment day-07-boundary-crossing-warmup \
  --scenario boundary-crossing --repeat 3 \
  > evidence/raw/day-07/boundary-crossing.json

三組結果把偏航與跨界拆開了

Behavior-only 三次都改寫了模型任務，卻沒有把 canary 帶進回覆。這組結果就是原本二分法缺少的中間狀態：Prompt Injection 已影響模型行為，但 canary 還沒有跨越本次定義的資料邊界。

Boundary-crossing 三次同時出現任務改寫標記與 canary。這組結果才符合本文的攻擊成功條件：不可信筆記取得了超出原定用途的影響力，讓另一份筆記的合成資料進入 model response。

三組的 request、fixture evidence 與完整 stdout 都是 3／3 含 canary。原因不是模型三組都洩漏，而是應用程式為了重現實驗，刻意保存完整合成輸入。若只對完整 stdout 搜尋 canary，Clean 和 Behavior-only 都會被誤判。

這也提醒另一條邊界：完整 evidence 不是「只是除錯資料」。Evidence 同時保存 fixture、request 與 model response，敏感度可能高於使用者最後看到的回答。正式系統若無條件把 evidence 寫進一般記錄檔，即使模型完全沒有洩漏，應用程式自己仍可能建立另一條曝露路徑。

本次三組結果、runner 設定與 sanitized 報告收在公開的 Day 7 實驗 checkpoint，可沿著同一份 evidence 追查上述兩個 predicate。

舊的失敗重跑不再充當證據

之前使用 Day 5 實驗重跑 Attack 時，執行環境在整批測試開始後中斷，沒有留下可解析的模型回覆。那次嘗試只能算執行失敗，不能把期待值補成結果。

新的 Day 7 bundle 共執行九次，三批都留下原始 JSON、SHA-256、時間戳記、模型完整 digest、fixture 雜湊與 reporter 驗證結果。新的三組結果是本文主要證據；舊的 Day 5 結果只保留為歷史背景，不再拿來補齊 Day 7。

攻擊成功的是哪一道邊界

這次 Boundary-crossing 可以拆成三段：

攻擊筆記
  └─ 越過允許影響的範圍：從摘要資料變成任務指令
        └─ 讀取另一份筆記中的 canary
              └─ 越過模型回覆這個觀測點：把 canary 放進候選回答

第一段改寫模型行為，第二段從另一份文件取得資料，第三段才讓影響出現在可觀測輸出。Behavior-only 停在第一段；Boundary-crossing 走完整條路徑。兩者都值得記錄，但不能用同一個「成功／失敗」欄位含糊帶過。

這次仍不能稱為對外資料外洩。實驗沒有工具、畫面渲染器或對外通訊，模型回覆只進入本機標準輸出，canary 也是假資料。九次結果只說明這組模型、提示詞、fixture 順序與攻擊指令，不能外推成 Prompt Injection 的通用成功率。

把同一套驗收方法帶回自己的系統

替自己的 LLM 應用做小型攻擊測試時，可以先填六個欄位：

1. 攻擊者控制哪一份輸入？
2. 系統允許攻擊輸入影響什麼，又禁止攻擊輸入決定什麼？
3. 哪個訊號只代表模型行為已經偏航？
4. 哪一份資料或動作代表真正的資安影響？
5. 哪個元件或資料使用位置是主要觀測點？
6. 哪些實驗紀錄必須保存，才能區分模型路徑與應用程式自己的輸出路徑？

Prompt Injection 測試不是準備一句「忽略前面指令」就結束。真正有用的熱身，是先把偏航和跨界寫成兩個 predicate，再用最小變因判讀結果。下一篇再拆解：為什麼 Prompt Injection 能讓一份資料影響原本不該由它決定的資料取得行為。

名詞說明

• canary 在這指刻意放進實驗資料的無害測試標記。只要這串獨特文字出現在原本不該到達的輸出，就能證明資料跨過預定邊界；canary 本身不是正式環境的金鑰或個人資料。
• sink 在這指資料最後被使用、輸出，或觸發後續動作的位置。
• predicate 在這指可以由程式判斷為真或假的驗收條件。
• fixture 在這指為了重複測試而準備、內容固定的合成資料。
• digest 在這指用來確認模型版本與內容相同的完整雜湊指紋。
• 任務改寫標記在這指攻擊筆記要求模型輸出的另一串無害固定文字，只用來判斷模型是否服從攻擊指令，不代表資料已經跨界。

參考資料

• OWASP Cheat Sheet Series — LLM Prompt Injection Prevention
• LLM Application Security Lab — Day 7 checkpoint

本文同步刊載於 iThome 鐵人賽。

《LLM 應用資安：從 Prompt Injection 到 AI Red Teaming》第 7／30 篇

上一篇：模型只能提案，不能替自己授權：信任邊界與資料的影響範圍 · 下一篇：Prompt Injection 原理拆解