第17回 LLM 勉強会

2025年3月25日（火）に国立情報学研究所にて第17回 LLM 勉強会を開催しました。

プログラム

  • LLM-jp 状況報告（黒橋）＜口頭報告のみ＞

＜評価・チューニング/原理解明 WG＞

  • 生成系タスクの自動評価においてチェックリストの使用は有効なのか？（古橋）[資料]
  • オープン日本語大規模言語モデルリーダーボードの構築と評価結果の分析（Namgi Han）[資料]
  • 日本語大規模言語モデルの事前訓練の分析（西田）[資料]
  • llm-jp-judge: 日本語 LLM-as-a-Judge 評価ツール（児玉）[資料]
  • 大規模言語モデルにおけるペルソナの役割と内部動作の理解（尾崎）[資料]
  • 内部から見る大規模言語モデルの言語汎化能力（稲葉）[資料]
  • 大規模言語モデルにおける Supervised Fine-tuning の包括的検証 (原田) [資料]
  • 大規模言語モデルの地理情報に関する内部空間のモデル・言語間による比較分析 (大竹) [資料]
  • 日本語を対象とした LLM の大規模人手評価（井之上） [資料]
  • 日本語大規模言語モデルの有用性と安全性の両立に向けたチューニング手法の検討（勝又）[資料]

＜マルチモーダル WG＞

  • オープンLLMによる翻訳を活用した日本語CLIPの開発（杉浦）[資料]
  • llm-jp-eval-mm: 日本語視覚言語モデルの自動評価基盤 (代理：杉浦) [資料]
  • LLM-jp-3 VILA: 日本語マルチモーダルデータ及び強力な日本語マルチモーダルモデルの構築（笹川） [資料]

＜モデル構築 WG＞

  • Drop-Upcycling: Training Sparse Mixture of Experts with Partial Re-initialization（中村） [資料]

＜安全性＞

  • LLMの安全性における大規模人手評価 （高橋） [資料]
  • AnswerCarefully: 日本語LLM安全性向上のためのデータセット（鈴木）[資料]
  • ソーシャルメディアからの偽・誤情報データセットとLLM正確性ベンチマークの提案（中里）[資料]
  • LLMに対する攻撃データの収集アプリケーションの開発と収集したデータの特性について（林）[資料]

＜コーパス構築＞

  • A Comprehensive Analysis of Memorization in Large Language Models (清丸) [資料]
  • 大規模言語モデルの事前学習用コーパスにおける要配慮個人情報の検出（源) [資料]
  • LLMの学術ドメイン適応のための合成データに基づく統合フレームワーク（小川） [資料]

参加者

現地27名・オンライン88名程度

Updated: