설정
models: {
providers: {
openrouter: {
params: {
provider: {
only: ["Morph", "DeepInfra", "Cloudflare"],
allow_fallbacks: true,
require_parameters: true,
data_collection: "deny",
},
},
},
},
},
order는 없다. 후보를 셋으로 제한하고, 그 안에서 고르는 일은 OpenRouter의 라우터에 맡긴다.
왜 order를 뺐나
OpenRouter가 라우팅을 재설계했다(공지). 새 라우터는 요청마다 “좋은 답 하나에 얼마가 드는가” 를 계산한다.
| 신호 | 내용 |
|---|---|
| effective price | 실제 캐시 적중률과 입출력 비율을 반영한 가격 |
| throughput | 초당 출력 토큰 |
| TTFT | 첫 토큰까지 |
| rate limit | 429 빈도 |
| reliability | 제공자 귀책 실패율 |
| quality | 툴 호출이 제대로 오는지 |
공개 실험(2,400만 요청) 결과는 비용 +6%, TTFT −16.9%, 처리량 +16.3%, 429 −46%였다.
문제는 이 문장이다.
Requests that set
provider.orderbypass the new routing logic. Settingprovider.onlyorprovider.ignorewill use the new algorithm to select from the remaining providers.
order를 쓰면 새 라우터를 우회한다. 캐싱 문서에는 sticky routing도 꺼진다고 적혀 있다.
Sticky routing is not used when you specify a manual provider order via
provider.order.
sticky routing은 대화를 같은 제공자에 고정해 캐시를 유지하는 기능이다. 프롬프트의 94%가 캐시인 워크로드에서는 손실이 크다. 그래서 order를 지우고 only만 남겼다.
단가 눈속임은 실제로 있다
공지가 지적한 “weird pricing cocktails”를 우리말로 하면 단가 눈속임이다. 실제로 있는지 확인했다. 필수 파라미터를 통과하는 21곳을 캐시 94% 기준 실효 비용으로 다시 정렬했다.
| 제공자 | 입력가 | 실효가 | 입력 순위 | 실효 순위 |
|---|---|---|---|---|
| Particle AI | 0.030 | 0.0049 | 1 | 1 |
| Wafer | 0.038 | 0.0122 | 2 | 8 |
| OpenInference | 0.070 | 0.0106 | 3 | 6 |
| Sail Research | 0.073 | 0.0111 | 4 | 7 |
| Ionstream | 0.077 | 0.0071 | 5 | 2 |
| DeepInfra | 0.078 | 0.0072 | 6 | 3 |
| Morph | 0.089 | 0.0096 | 8 | 5 |
Wafer는 입력가 2위인데 실효가는 8위다. 입력가는 $0.038로 싸지만 캐시 단가가 $0.0100으로 Morph의 2.5배다. 캐시가 94%면 그 차이가 입력가 차이를 덮는다.
입력가로 정렬하면 안 된다. 새 라우터의 effective price도, 아래 탐색 스크립트도 캐시·출력 비중을 넣어 계산한다.
후보를 셋으로 줄인 이유
전체 제공자 38곳
파라미터 통과 21곳
실제로 쓰는 곳 3곳
21곳이 통과하는데 3곳만 쓰는 이유는 양자화와 검증이다. 실효가 상위 5곳 중 셋이 fp4/mxfp4이거나 양자화 미상이다.
기준은 이렇게 잡았다.
- 실효가 상위권
- fp8 또는 검증된 양자화
- 캐시·품질 프로브 통과
- uptime 95% 이상
4번째부터는 가격이 2배로 뛴다. 폴백 여유를 얻는 대신 비용을 두 배로 내는 셈이라, 셋이 동시에 흔들릴 때만 503을 감수하기로 했다.
실제 동작
같은 요청을 반복하면 제공자가 달라지고, session_id를 주면 고정된다.
session 없이 Morph → DeepInfra → Morph
session 고정 DeepInfra → DeepInfra → DeepInfra
대화 단위로는 캐시가 유지되고, 대화가 다르면 부하가 분산된다.
429는 장애가 아니다
점검 중 Cloudflare가 429를 냈다.
429 Provider returned error
"deepseek/deepseek-v4.1-flash-1017 is temporarily rate-limited upstream"
새 라우터는 429를 비용으로 계산해 트래픽을 옮긴다. 그래서 감시 스크립트에서 429는 알림에서 빼고 로그로만 남긴다.
자동화
전부 스크립트 페이로드다. OpenClaw 모델 턴을 쓰지 않으므로 에이전트 대화 토큰은 0이다.
| 주기 | 하는 일 |
|---|---|
| 30분 | 잔액·키 잔여·키 만료 |
| 매일 09:10 | 후보 3곳 전부 status·uptime·캐시·품질·파라미터 |
| 매일 09:20 | 토큰 믹스 재계산, 실효 비용 비교, 히트율 |
| 매일 09:30 | 설정 변경 효과 검증 |
| 매주 월 09:40 | 전체 엔드포인트 탐색 + 풀 추가 권고 |
정상이면 다섯 개 모두 침묵한다. 알림은 채팅과 폰으로 간다.
프로브 설계에서 세 번 틀렸다
① 캐시 프리픽스가 짧았다
600토큰으로 확인하니 cached=0이 나왔다. 2,000토큰으로 늘리니 정상 적중했다. 캐시 최소 길이 아래에서는 멀쩡한 제공자가 탈락한다.
② 품질 프로브가 잘렸다
max_tokens: 80으로 JSON을 요구했더니 추론 토큰이 그걸 다 먹고 본문이 비었다. 300으로 올리고 코드펜스 허용을 추가했다.
③ 실제 요청과 조건이 달랐다
프로브는 파라미터를 최소로 보냈는데, 실제 에이전트 요청에는 presence_penalty와 seed가 붙는다. 그래서 “모든 축에서 우위”라고 판정한 제공자가 실트래픽에서는 후보에서 제외됐다.
왜 이 두 개가 붙나. OpenClaw는 OpenAI 호환 요청 경로로 샘플링 파라미터를 함께 보낸다. seed는 같은 입력에 같은 출력을 얻기 위한 재현성 파라미터고, presence_penalty는 같은 주제를 반복하는 걸 억제하는 파라미터다. 에이전트 런타임은 이런 값들을 기본값으로 채워 넣는다.
문제는 이게 에러 없이 조용히 일어난다는 점이다. require_parameters가 켜져 있으면 해당 파라미터를 지원하지 않는 제공자는 요청이 도달하기 전에 후보에서 빠진다. 반대로 꺼져 있으면 그 제공자가 요청을 받고 파라미터를 무시한다. 어느 쪽이든 내가 의도한 라우팅과 다른 결과가 나온다.
실험으로 확인한 차이다.
tools만 보냄 → PrimeIntellect 응답
+presence_penalty 추가 → Morph로 폴백
+seed 추가 → Morph로 폴백
측정 조건이 실제 조건과 같은지를 확인하지 않으면 정밀해 보이는 숫자가 전부 무의미해진다.
변경이 도움이 됐는지
설정 해시를 감시하다가 바뀌면 직전 7일 기준선($/1M 토큰)을 저장하고, 3일 뒤부터 비교한다. 15% 이상 움직이면 개선인지 악화인지 알린다.
첫 측정에서 예상과 반대로 비용이 9% 올라 있었다.
변경 전 $0.0185/1M
변경 후 $0.0202/1M
캐시가 92%일 때 나머지 8%의 신규 입력가가 승부를 가른다. 새 제공자는 캐시 단가가 40% 쌌지만 신규 입력가는 3.5배 비쌌다. 지표를 잘못 세운 사례였고, 그래서 이 장치가 필요하다.
알림에는 권고와 실행 명령이 같이 온다
탐색 결과가 조건을 넘으면(현재 최저가보다 15% 이상 저렴 + 프로브 통과) 이렇게 붙는다.
권고: StreamLake를 후보 풀에 추가 (현재 Morph)
openclaw config patch --stdin <<'EOF'
{"models":{"providers":{"openrouter":{"params":{"provider":{"only":["Morph","DeepInfra","Cloudflare","StreamLake"]}}}}}}
EOF
자동 적용은 하지 않는다. 지표는 매일 흔들리고, 제공자를 바꾸면 캐시가 비어 최소 1턴은 전액 과금이다. 판단은 사람이, 실행만 복붙 한 번으로 줄인다.
비용은 거의 0이다
- OpenClaw 모델 턴은 쓰지 않는다 — 스크립트 페이로드다.
- 프로브는 실제 모델을 호출한다 — 캐시·품질·처리량을 재려면 요청을 보내야 한다.
| 프로브 | 요청 | 토큰 |
|---|---|---|
| 캐시 (2,000토큰 × 2회) | 2 | 약 4,000 |
| 품질 (JSON) | 1 | 약 100 |
| 처리량 (스트리밍 400토큰) | 1 | 약 400 |
하루 4요청, 약 4,500토큰. 입력가 $0.04/M 기준으로 하루 $0.0002, 월 $0.006 수준이다.
한계
로컬 집계는 청구서와 완전히 일치하지 않는다. 30일 기준 로컬 합계가 실제 청구액의 83% 수준이었다. 유틸리티 호출이나 중단된 시도가 로컬에 덜 기록되기 때문이다. 이 자동화는 상대 비교에 쓰고, 절대 금액은 오픈라우터 쪽 숫자를 본다.
정리
- 기본 라우터는 가격 + 속도 + 신뢰성 + 품질을 함께 본다.
order는 그걸 우회하고 sticky routing까지 끈다. only는 필터로만 쓰고, 선택은 알고리즘에 맡긴다.- 입력가로 정렬하면 단가 눈속임에 걸린다. 캐시 비중을 넣어 실효가로 봐야 한다.
- 429는 장애가 아니라 라우터가 처리할 신호다.
- 자동화는 이 판단이 여전히 유효한지 감시한다.
참조
- How we rebuilt provider routing — 라우터 재설계 공지.
order가 새 라우터를 우회한다는 문장이 여기 있다. - Provider Routing —
order·only·ignore·require_parameters·sort의 정확한 의미. - Prompt Caching — sticky routing과
session_id,cached_tokens확인법. - Traffic Routing — effective price 계산 방식.
- Models API — 엔드포인트별 가격·양자화·
supported_parameters조회.