概要

FT-LLM 2027では、LLM-jp-4をベースとしたコーディングエージェント向けモデルのチューニングコンペティションを開催します。日本語の指示を理解し、コードの編集やターミナル操作を通じて課題を解決する能力の向上を目指します。

参加チームには、学習データや学習方法を工夫してモデルを開発していただきます。開発したモデルは共通の評価環境で比較し、成果発表を通じて、モデルの学習・評価に関する知見を共有します。希望するチームへの計算資源の貸与も予定しています。

参加募集

参加登録は、以下のフォームからお申し込みください。参加申込締切は2026年11月20日(日本時間)です。

FT-LLM 2027 参加登録フォーム

計算資源の貸与を希望する方は、同じフォーム内で「希望する」を選択し、利用計画と必要な同意事項をご記入ください。貸与を希望しない方も、このフォームから参加登録できます。

スケジュール

以下は現在の予定です。変更がある場合は本ページでお知らせします。

2026年11月2日
開催概要・課題・評価方法の公開、参加募集開始
2026年11月20日
参加申し込み締め切り
2026年11月30日まで
計算資源の配分決定・通知
2026年12月1日
コンペティション開始、計算資源の利用開始
2027年2月2日
2027年2月11日
最終成果物の提出締め切り
2027年2月
提出物の動作確認・最終評価
2027年2月28日
最終評価の完了・順位確定
2027年3月
評価結果の公開・報告会(日時場所未定※)

すべての締め切りは日本時間(JST)です。申し込み・提出の具体的な締切時刻は、募集要項でご案内します。計算資源の貸与期間は、各チームへの割り当てと併せて別途お知らせします。

※言語処理学会第33回年次大会(NLP2027)のワークショップに応募予定です。採択された場合は、報告会に参加するために年次大会への参加費をお支払いいただく必要があります。

課題

本コンペティションでは、Terminal Bench 2.1に準拠した、日本語の指示で取り組む課題を使用する予定です。コードを生成するだけでなく、実行環境の状態を確認し、必要な操作を行い、その結果に応じて作業を進める能力を評価します。

開発用データとして、既存課題の日本語翻訳版を提供する予定です。最終評価には、新たに作成する課題を使用します。課題の具体例、対象範囲、開発用データ、評価スクリプトは、準備が整い次第公開します。

基本ルール

使用するベースモデルは、LLM-jp-4.1の8Bモデルとします。参加チームは、このモデルをベースに、コーディングエージェントとしての性能向上に取り組んでください。使用するチェックポイントは、コンペティションの開始時にご案内します。

モデルのアーキテクチャ変更は、Hugging Faceの設定と主催者が指定する推論環境で動作する範囲を予定しています。対応する変更や提出形式の詳細は、実行環境の情報と併せて公開します。

コンペティションの遂行において、学習データや外部モデル・サービスを利用する場合は、参加者の責任において、関係法令、ライセンス、利用規約を遵守してください。

提出方法

学習済みモデルのパラメーターと、評価時に使用する生成パラメーターをHugging Faceにアップロードして提出する方式を予定しています。

提出に必要なファイル、動作確認手順は、コンペティション開始までにご案内します。モデルや学習手法に関する報告資料の提出・公開条件についても、募集要項でお知らせします。

評価方法

提出されたモデルを主催者が用意する共通の環境で実行し、課題の達成状況に基づいて評価する予定です。評価に使用するハーネスとバージョンを固定し、参加チームが開発時に動作を確認できるようにします。

評価指標、課題数、実行時間・計算量の制限、生成パラメーターの扱い、同点時の順位決定方法などは、評価方法の詳細として公開します。

また、参加モデル同士を比較するアリーナ形式の評価も検討しています。実施方法や、ベンチマーク評価・表彰との関係については、決まり次第お知らせします。

共有リソース

参加チームが開発を進められるよう、以下のリソースの提供を予定しています。コンペティションの開始時までに、本ページで順次ご案内します。

  • ベースモデル
  • 開発用データとサンプル課題
  • 評価スクリプトと実行環境

計算資源の貸与

計算資源の貸与を希望するチームに対し、各チームについてABCI 1ノードを20日程度提供する予定です。貸与枠数と具体的な利用日程は調整中で、割り当てと併せてお知らせします。

応募方法

参加登録フォームで計算資源の貸与を「希望する」と選択し、利用計画・貸与を希望する理由・利用希望日程を記入してください。提供条件およびABCI利用条件への同意も必要です。応募締切は参加申込と同じ2026年11月20日(日本時間)です。計算資源の配分は2026年11月30日までに決定・通知する予定です。

利用条件

  • ABCIを利用するメンバー全員が、ABCI利用約款等を確認し、遵守する必要があります。
  • ABCIの利用制限に抵触する方は、貸与する計算資源を利用できません。非居住者等による利用および「みなし輸出」管理の公式案内を確認してください。
  • 障害や緊急メンテナンス等により、計算資源を均等に配分できない場合があります。運営は追加の資源割当て等による補填に努めますが、ご希望に沿えない場合があることをご了承ください。

成果発表・表彰

2027年3月の言語処理学会第33回年次大会(NLP2027)で、評価結果の公開と参加チームによる成果発表を行うことを計画しています。ワークショップの開催は、企画の採択後に正式にご案内します。発表形式、現地・オンラインでの参加方法、必要な参加登録・費用、成果物の公開条件、表彰の詳細は、決まり次第お知らせします。

よくある質問

計算資源の貸与を受けずに参加できますか?

自身の計算資源を利用した参加も可能です。正式な参加条件は募集開始時にご案内します。

学生や個人でも参加できますか?

参加可能です。