Dropstone Support

Dropstone이 모델을 선택하는 방법

매달 Blankline은 각 Dropstone 등급에 사용 가능한 오픈 가중치 모델을 세 가지 테스트(작업 수행 능력, 서비스 비용, 도구 사용 시 안전성)로 재평가합니다. 새 모델은 기존 슬롯의 모델을 이겨야 자리를 차지할 수 있습니다.

Fast, Pro, Heavy는 영구적인 선택이 아닌 월간 평가로 채워집니다. 이 페이지에서는 무엇을 측정하는지, 누가 평가하는지, 그리고 슬롯을 차지하려면 무엇이 필요한지 다룹니다.


누가 결정하나요?

평가는 Dropstone을 만드는 회사인 Blankline 내부에서 진행됩니다. 이는 일회성이 아닌 상시 약속입니다: 라인업은 매달 재검토되며, 아무것도 바뀌지 않아야 하는 달도 포함됩니다.


무엇을 측정하나요?

모든 후보 모델은 세 가지 항목으로 테스트됩니다.

측정 항목살펴보는 내용
작업 수행 능력코드 생성, 기존 저장소 편집, 도구 사용, 긴 문서에서 정보 검색, 여러 단계에 걸친 계획 수립
서비스 비용모델의 표면 요금이 아닌, 일반적인 무거운 코딩 턴의 실제 측정 비용
도구 사용 시 안전성긴 대화에서 지시사항을 따르는 능력, 거부해야 할 요청을 거부하는 능력, 행동이 허용된 상태에서 프롬프트 인젝션에 대한 저항력

모델이 슬롯을 차지하는 방법

후보 모델은 기존 슬롯의 모델을 이기거나 동등해야 합니다. 더 새롭다는 것만으로는 자격이 되지 않습니다.

세 등급은 작업이 다르기 때문에 별도로 평가되며, 따라서 한 모델이 한 슬롯을 차지하면서 다른 슬롯에서는 질 수 있습니다. 슬롯을 잃은 모델도 퇴출되는 대신 아래로 이동할 수 있습니다: Kimi K3가 Heavy를 차지하기 전에 Heavy를 보유했던 모델은 퇴출되는 대신 Pro로 이동했습니다.


선택 이후에는 어떻게 되나요?

등급의 선택이 바뀌면 버전이 이동하고 새로운 라인업이 출시됩니다. 모델 버전 및 월간 라인업에서 번호 체계를 다루며, 릴리스 노트에서 변경 사항을 기록합니다.

그 외에는 아무것도 함께 이동하지 않습니다. 사용자의 허용량, 메모리, 대화는 영향을 받지 않습니다.


근거는 어디에 공개되나요?

Blankline은 결과뿐만 아니라 라인업의 근거도 공개합니다. 상세 설명과 벤치마크 자료는 blankline.org/research에 있으며, Dropstone 블로그에서는 라인업을 더 쉬운 언어로 다룹니다.

주기가 아무것도 바꾸지 않는다면 발표할 내용이 없으며, 버전은 그대로 유지됩니다.

Related articles

Ctrl+I