跳到主要內容
HAKILA

Auto routing

智慧選模:每則請求,交給剛好夠用的模型

模型填 hakila/auto,Hakila 會先讀懂這則請求要做什麼,再從你允許的候選模型中,挑出能把事情做好、又不浪費成本的那一個。選路本身不另收費。

01

一行設定就能開始

不需要額外參數,也不需要改寫既有程式。把 model 換成 hakila/auto,其他寫法維持不變。

curl https://api.hakila.ai/v1/chat/completions \
  -H "Authorization: Bearer $HAKILA_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "hakila/auto",
    "messages": [
      { "role": "user", "content": "幫我找出這段程式的效能瓶頸" }
    ]
  }'

02

一則請求的選模流程

  1. STEP 01

    圈出候選池

    平台精選的候選模型,與組織、這把 API Key 的允許清單取交集,再只留下目前確實能呼叫的對話模型(含你的 BYOK 金鑰)。

  2. STEP 02

    讀懂這則請求

    把完整請求(系統提示、對話內容與工具定義),連同每個候選的供應商、上下文長度與每百萬 tokens 單價,交給 Hakila 的選路模型判斷。

  3. STEP 03

    依原則挑出一個

    先判斷任務需要哪一級能力,再在夠用的模型中權衡成本。完整原則見下一節。

  4. STEP 04

    原封不動轉送

    請求內容不改寫,直接送到選中的模型。回應的 model 欄位與用量紀錄會標示實際使用的模型。

03

Hakila 依據的選模原則

選路模型拿到的不是一句「選最好的」,而是一組明確的判斷順序:先看任務需要的能力,再看上下文是否放得下,最後才在同級模型間比較價格。

  • 能力優先:選「能把事做好的最小模型」

    先判斷任務真正需要什麼,再從能勝任的模型裡挑規模最小的那一個。不是一律選最強,也不是一律選最便宜。

  • 高難度任務,交給旗艦或推理級模型

    下列任務答錯的代價高,即使單價高出許多,也會選擇旗艦或推理級模型:

    • 撰寫、審查、除錯或解釋程式碼
    • 多步驟推理、數學與規劃
    • 分析冗長或結構複雜的輸入
    • 任何答錯代價很高的情境
  • 輕量任務,交給小而快的模型

    下列任務小模型就能做好,延遲更低、成本也更低:

    • 簡短對話與問候
    • 簡單改寫與翻譯
    • 格式整理
    • 分類與資訊擷取
  • 上下文長度把關

    輸入明顯超過某個模型的上下文視窗時,只會考慮放得下的模型,避免請求送出後才因為太長而失敗。

  • 價格只在同級之間取捨

    單價只用來在「能力相當」的候選之間做選擇,不會為了省錢犧牲任務需要的能力。我們也刻意不下「選最便宜」的指令,避免所有請求都被壓到同一個小模型、品質一起下滑。

04

設定固定存取的模型範圍

想讓 hakila/auto 只在特定幾個模型之間挑選?在 Console 縮小組織或這把 API Key 的允許清單即可。候選池永遠是允許清單的子集,不會選到你沒有開放的模型。

05

可靠性設計

選路有時間上限

選路是請求前多出的一小段判斷,有固定的秒數上限。逾時、選路服務暫時無法使用、請求內容過大,或選出的答案對不上候選時,自動退回候選順序中第一個可用的模型。選路出狀況,不會讓你的請求跟著失敗。

沒有回應時,判斷要再等還是改道

選中的模型超過約 30 秒還沒回應第一個字時,Hakila 會依請求內容判斷:深度推理、困難的數學或程式、長篇寫作與超長輸入本來就可能需要這麼久,會延長等待;短對話或簡單任務早該開始回應,就判定上游卡住,改送到能勝任且可能更快回應的候選模型。越接近等待上限,越需要充分理由才會繼續等。改道只發生在還沒送出任何內容之前。

每次選路都留下紀錄

候選清單、最後選中的模型,以及選中或退回的原因都會記錄下來,作為稽核與持續調校選路品質的依據。

06

計費與適用範圍

  • 選路本身不另收費,費用依最後實際產生回應的模型計算。
  • 適用對話類請求:Chat Completions、Responses 與 Anthropic Messages。生圖、語音與向量請直接指定模型。
  • 透過 Anthropic Messages 呼叫時,只會在 Claude 候選中挑選;接續先前回應的 Responses 請求,只會在 OpenAI 候選中挑選。

Get started

把挑模型這件事交給 Hakila

建立 API Key,模型填 hakila/auto,就能開始使用。