速度優先 / 成本優先
策略 A：預設小模型
先用快、便宜的模型把大多數請求吃掉，只有不夠穩的案例才升級。
- 適合客服、FAQ、常見查詢這種高頻低風險任務。
- 若信心不足、品質不達標，再升級大模型重跑。
模型選型與成本觀念：速度 / 品質 / 價格 / 上下文長度
選模型不是挑最強，而是挑最合適。這章教你用可落地的方式取捨。
四維度評估框架
- 速度（Latency）： 用戶多久看到第一個字與完整答案。
- 品質（Quality）： 回答正確率、可執行性、推理穩定度。
- 價格（Cost）： 輸入+輸出 token 成本，以及重試成本。
- 上下文長度（Context）： 能否容納長文件、長對話或多段資料。
實務選型建議（先能用再優化）
- 客服 / FAQ： 先選中小模型，追求速度與成本，必要時再升級。
- 技術文件生成： 優先穩定與格式控制能力，溫度偏低。
- 程式碼輔助： 看推理品質與上下文長度，並配置回退模型。
- 長文摘要： 優先大上下文或分段策略（chunk + 合併）。
常見取捨策略
把模型取捨拆成可執行的決策卡。先看主策略，再看適用時機與升級路徑。
任務拆分 / 職責分工
策略 B：雙模型管線
讓便宜模型負責分類與路由，昂貴模型只處理真正需要生成與推理的部分。
模型 1：分類 / 路由
→
模型 2：生成 / 推理
- 適合工作流明確、步驟可拆的產品。
- 可以同時兼顧成本控管與整體品質穩定度。
正確性優先 / 降低幻覺
策略 C：先檢索再生成（RAG）
先把資料找出來，再要求模型整理回答，讓輸入更精準、上下文更乾淨。
- 降低幻覺，同時避免無意義的長輸入。
- 適合知識庫問答、文件查詢、內部資料輔助決策。
成本控制清單
- 縮短 system prompt，移除重複規則。
- 限制最大輸出 token，避免過長回答。
- 對相同請求做快取，減少重複呼叫。
- 建立評估門檻，低風險任務用便宜模型先跑。
1 分鐘小測驗
Q：如果你的產品需要「快速回應 + 控成本」，優先策略是？