概要
FT-LLM 2027では、LLM-jp-4をベースとしたコーディングエージェント向けモデルのチューニングコンペティションを開催します。日本語の指示を理解し、コードの編集やターミナル操作を通じて課題を解決する能力の向上を目指します。
参加チームには、学習データや学習方法を工夫してモデルを開発していただきます。開発したモデルは共通の評価環境で比較し、成果発表を通じて、モデルの学習・評価に関する知見を共有します。希望するチームへの計算資源の貸与も予定しています。
参加募集
参加者は2026年11月2日より募集を開始する予定です。参加登録フォームと詳しい募集要項は、本ページで公開します。計算資源の貸与を希望する方には、参加登録と併せて利用希望を申請していただく予定です。
スケジュール
以下は現在の予定です。変更がある場合は本ページでお知らせします。
- 2026年11月2日
- 開催概要・課題・評価方法の公開、参加募集開始
- 2026年11月20日
- 参加申し込み締め切り
- 2026年11月30日
- 計算資源の配分決定・通知
- 2026年12月1日
- コンペティション開始、計算資源の利用開始
- 2027年2月2日
- 最終成果物の提出締め切り
- 2027年2月
- 提出物の動作確認・最終評価
- 2027年2月28日
- 最終評価の完了・順位確定
- 2027年3月
- 評価結果の公開・報告会（日時場所未定※）
申し込み・提出の締切時刻は、募集要項でご案内します。計算資源の貸与期間は、各チームへの割り当てと併せて別途お知らせします。
※言語処理学会第33回年次大会（NLP2027）のワークショップに応募予定です。採択された場合は、報告会に参加するために年次大会への参加費をお支払いいただく必要があります。
課題
本コンペティションでは、Terminal Bench 2.1に準拠した、日本語の指示で取り組む課題を使用する予定です。コードを生成するだけでなく、実行環境の状態を確認し、必要な操作を行い、その結果に応じて作業を進める能力を評価します。
開発用データとして、既存課題の日本語翻訳版を提供する予定です。最終評価には、新たに作成する課題を使用します。課題の具体例、対象範囲、開発用データ、評価スクリプトは、準備が整い次第公開します。
基本ルール
使用するベースモデルは、LLM-jp-4.1の8Bモデルとします。参加チームは、このモデルをベースに、コーディングエージェントとしての性能向上に取り組んでください。使用するチェックポイントは、コンペティションの開始時にご案内します。
モデルのアーキテクチャ変更は、Hugging Faceの設定と主催者が指定する推論環境で動作する範囲を予定しています。対応する変更や提出形式の詳細は、実行環境の情報と併せて公開します。
コンペティションの遂行において、学習データや外部モデル・サービスを利用する場合は、参加者の責任において、関係法令、ライセンス、利用規約を遵守してください。
提出方法
学習済みモデルのパラメーターと、評価時に使用する生成パラメーターをHugging Faceにアップロードして提出する方式を予定しています。
提出に必要なファイル、動作確認手順は、コンペティション開始までにご案内します。モデルや学習手法に関する報告資料の提出・公開条件についても、募集要項でお知らせします。
評価方法
提出されたモデルを主催者が用意する共通の環境で実行し、課題の達成状況に基づいて評価する予定です。評価に使用するハーネスとバージョンを固定し、参加チームが開発時に動作を確認できるようにします。
評価指標、課題数、実行時間・計算量の制限、生成パラメーターの扱い、同点時の順位決定方法などは、評価方法の詳細として公開します。
また、参加モデル同士を比較するアリーナ形式の評価も検討しています。実施方法や、ベンチマーク評価・表彰との関係については、決まり次第お知らせします。
共有リソース
参加チームが開発を進められるよう、以下のリソースの提供を予定しています。コンペティションの開始時までに、本ページで順次ご案内します。
- ベースモデル
- 開発用データとサンプル課題
- 評価スクリプトと実行環境
計算資源の貸与
計算資源の貸与を希望するチームに対し、利用機会を提供する予定です。貸与枠数、資源量、利用日程は調整中です。正式な条件と申請方法は、募集開始時にお知らせします。
成果発表・表彰
2027年3月の言語処理学会第33回年次大会（NLP2027）で、評価結果の公開と参加チームによる成果発表を行うことを計画しています。ワークショップの開催は、企画の採択後に正式にご案内します。発表形式、現地・オンラインでの参加方法、必要な参加登録・費用、成果物の公開条件、表彰の詳細は、決まり次第お知らせします。
よくある質問
計算資源の貸与を受けずに参加できますか？
自身の計算資源を利用した参加も可能です。正式な参加条件は募集開始時にご案内します。
学生や個人でも参加できますか？
参加可能です。
