選路有時間上限
選路是請求前多出的一小段判斷,有固定的秒數上限。逾時、選路服務暫時無法使用、請求內容過大,或選出的答案對不上候選時,自動退回候選順序中第一個可用的模型。選路出狀況,不會讓你的請求跟著失敗。
Auto routing
模型填 hakila/auto,Hakila 會先讀懂這則請求要做什麼,再從你允許的候選模型中,挑出能把事情做好、又不浪費成本的那一個。選路本身不另收費。
01
不需要額外參數,也不需要改寫既有程式。把 model 換成 hakila/auto,其他寫法維持不變。
curl https://api.hakila.ai/v1/chat/completions \
-H "Authorization: Bearer $HAKILA_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "hakila/auto",
"messages": [
{ "role": "user", "content": "幫我找出這段程式的效能瓶頸" }
]
}'02
STEP 01
平台精選的候選模型,與組織、這把 API Key 的允許清單取交集,再只留下目前確實能呼叫的對話模型(含你的 BYOK 金鑰)。
STEP 02
把完整請求(系統提示、對話內容與工具定義),連同每個候選的供應商、上下文長度與每百萬 tokens 單價,交給 Hakila 的選路模型判斷。
STEP 03
先判斷任務需要哪一級能力,再在夠用的模型中權衡成本。完整原則見下一節。
STEP 04
請求內容不改寫,直接送到選中的模型。回應的 model 欄位與用量紀錄會標示實際使用的模型。
03
選路模型拿到的不是一句「選最好的」,而是一組明確的判斷順序:先看任務需要的能力,再看上下文是否放得下,最後才在同級模型間比較價格。
先判斷任務真正需要什麼,再從能勝任的模型裡挑規模最小的那一個。不是一律選最強,也不是一律選最便宜。
下列任務答錯的代價高,即使單價高出許多,也會選擇旗艦或推理級模型:
下列任務小模型就能做好,延遲更低、成本也更低:
輸入明顯超過某個模型的上下文視窗時,只會考慮放得下的模型,避免請求送出後才因為太長而失敗。
單價只用來在「能力相當」的候選之間做選擇,不會為了省錢犧牲任務需要的能力。我們也刻意不下「選最便宜」的指令,避免所有請求都被壓到同一個小模型、品質一起下滑。
04
想讓 hakila/auto 只在特定幾個模型之間挑選?在 Console 縮小組織或這把 API Key 的允許清單即可。候選池永遠是允許清單的子集,不會選到你沒有開放的模型。
05
選路是請求前多出的一小段判斷,有固定的秒數上限。逾時、選路服務暫時無法使用、請求內容過大,或選出的答案對不上候選時,自動退回候選順序中第一個可用的模型。選路出狀況,不會讓你的請求跟著失敗。
選中的模型超過約 30 秒還沒回應第一個字時,Hakila 會依請求內容判斷:深度推理、困難的數學或程式、長篇寫作與超長輸入本來就可能需要這麼久,會延長等待;短對話或簡單任務早該開始回應,就判定上游卡住,改送到能勝任且可能更快回應的候選模型。越接近等待上限,越需要充分理由才會繼續等。改道只發生在還沒送出任何內容之前。
候選清單、最後選中的模型,以及選中或退回的原因都會記錄下來,作為稽核與持續調校選路品質的依據。
06
Get started
建立 API Key,模型填 hakila/auto,就能開始使用。