Dropstone Support

Dropstoneがモデルを選ぶ仕組み

毎月Blanklineは、各Dropstoneティアで利用可能なオープンウェイトモデルを、仕事の出来、提供コスト、ツールを使う際の安全性という3つのテストで再評価します。モデルは現在スロットにあるモデルを上回らなければなりません。

Fast、Pro、Heavyは、恒久的な選択ではなく毎月の評価によって決まります。このページでは、何が測定されるのか、誰が行うのか、そしてスロットを獲得するために必要な条件について説明します。


誰が決定するのか?

評価は、Dropstoneを開発する会社であるBlankline内で実施されます。これは一度きりではなく恒常的な取り組みです:ラインナップは毎月再検討されます。何も変更すべきでない月も含みます。


何が測定されるのか?

すべての候補モデルは、3つの項目でテストされます。

測定項目内容
仕事の出来コード生成、既存リポジトリの編集、ツール使用、長文ドキュメントからの取得、複数ステップにわたる計画立案
提供コストモデルの公称レートではなく、典型的なヘビーなコーディングターンの実測コスト
ツールを使う際の安全性長い会話にわたる指示の遵守、拒否すべきことを拒否すること、行動が許可された場合のプロンプトインジェクションへの耐性

モデルがスロットを獲得する方法

候補モデルは、現在スロットにあるモデルを上回るか、同等である必要があります。新しいというだけでは資格にはなりません。

3つのティアは、作業内容が異なるため別々に判断されます。そのため、あるモデルがあるスロットを獲得しても、別のスロットでは負ける可能性があります。また、スロットを失ったモデルは、外れるのではなく下位に移動することもあります:Kimi K3が獲得する前にHeavyを保持していたモデルは、外されるのではなくProに移動しました。


選定後の流れ

ティアの選定が変わると、バージョンが移動し、新しいラインナップがリリースされます。モデルのバージョンと毎月のラインナップでは番号付けについて、リリースノートでは変更内容について説明しています。

それ以外のものは移動しません。あなたの利用枠、メモリ、会話は影響を受けません。


判断理由の公開場所

Blanklineは、結果だけでなくラインナップの判断理由も公開しています。解説記事とベンチマーク資料はblankline.org/researchにあり、Dropstoneブログではラインナップについてより平易な言葉で説明しています。

サイクルで何も変更がない場合は、発表することはなく、バージョンはそのまま維持されます。

Related articles

Ctrl+I