Alignment 對齊是什麼？讓 AI 不只聰明，還要可靠

同一個模型，可以幫你寫文案，也可以被誘導寫出有害內容。差別不在它聰不聰明，而在有沒有對齊。

對齊是把「這個 AI 值不值得信任」這件事做進訓練流程裡的一步。

定義

Alignment（對齊）是 AI 訓練的關鍵階段，目的是讓 AI 的行為、價值觀與人類的意圖、倫理和安全規範保持一致。

酒Ann 給了一句好記的判準：即使模型很聰明，也需要對齊，才能「做對的事」，而不只是「把事做對」。

白話比喻

用教小孩來理解最快。第一步是學習知識，讓它讀萬卷書、學會大量知識與語言，這是預訓練。

第二步才是價值觀教育，也就是對齊，學習什麼是對的、什麼是錯的。第三步是練習與回饋，越練越熟練。最後才成為既聰明又有良知、能安全可靠幫助他人的助手。

對齊的四個步驟

1. 監督式微調（SFT），用人類標註的好回答微調模型，讓它符合人類偏好的回答方式。
2. 偏好學習（Reward Modeling），學習人類偏好，建立獎勵模型來評估不同回答的好壞。
3. 強化學習（RLHF），用強化學習優化模型，最大化獎勵模型的評分。
4. 安全性檢查（Red Teaming），透過紅隊測試與安全評估，找出潛在風險並持續改進。

對齊前後差在哪

實際用例

你會在模型的技術報告裡看到這個詞。廠商說「這一代在安全性上有顯著提升」，指的多半就是對齊做得更細。

對使用者來說，實務上的意義是：模型拒答不一定是壞事。它拒絕的多半是對齊訓練刻意教它拒絕的事，硬要繞過去就是越獄，風險由你自己承擔。