資料

勉強会で使用されたサーベイ・発表資料を公開しています。

日本語LLMまとめも公開しています。

• 2025-3-25
  • LLM-jp 状況報告（黒橋）＜口頭報告のみ＞

  ＜評価・チューニング/原理解明 WG＞

  • 生成系タスクの自動評価においてチェックリストの使用は有効なのか？（古橋）[資料]
  • オープン日本語大規模言語モデルリーダーボードの構築と評価結果の分析（Namgi Han）[資料]
  • 日本語大規模言語モデルの事前訓練の分析（西田）[資料]
  • llm-jp-judge: 日本語 LLM-as-a-Judge 評価ツール（児玉）[資料]
  • 大規模言語モデルにおけるペルソナの役割と内部動作の理解（尾崎）[資料]
  • 内部から見る大規模言語モデルの言語汎化能力（稲葉）[資料]
  • 大規模言語モデルにおける Supervised Fine-tuning の包括的検証 (原田) [資料]
  • 大規模言語モデルの地理情報に関する内部空間のモデル・言語間による比較分析 (大竹) [資料]
  • 日本語を対象とした LLM の大規模人手評価（井之上） [資料]
  • 日本語大規模言語モデルの有用性と安全性の両立に向けたチューニング手法の検討（勝又）[資料]

  ＜マルチモーダル WG＞

  • オープンLLMによる翻訳を活用した日本語CLIPの開発（杉浦）[資料]
  • llm-jp-eval-mm: 日本語視覚言語モデルの自動評価基盤 (代理：杉浦) [資料]
  • LLM-jp-3 VILA: 日本語マルチモーダルデータ及び強力な日本語マルチモーダルモデルの構築（笹川） [資料]

  ＜モデル構築 WG＞

  • Drop-Upcycling: Training Sparse Mixture of Experts with Partial Re-initialization（中村） [資料]

  ＜安全性＞

  • LLMの安全性における大規模人手評価 （高橋） [資料]
  • AnswerCarefully: 日本語LLM安全性向上のためのデータセット（鈴木）[資料]
  • ソーシャルメディアからの偽・誤情報データセットとLLM正確性ベンチマークの提案（中里）[資料]
  • LLMに対する攻撃データの収集アプリケーションの開発と収集したデータの特性について（林）[資料]

  ＜コーパス構築＞

  • A Comprehensive Analysis of Memorization in Large Language Models (清丸) [資料]
  • 大規模言語モデルの事前学習用コーパスにおける要配慮個人情報の検出（源) [資料]
  • LLMの学術ドメイン適応のための合成データに基づく統合フレームワーク（小川） [資料]
• 2025-2-25
  • LLM-jp 状況報告（黒橋）＜口頭報告のみ＞
  • 実環境インタラクションWG（尾形）[資料]
  • 安全性WG（関根）[資料] AISIの紹介（瀬光孝之/Japan AI Safety Institute) [資料]
  • モデル構築WG（鈴木）[資料]
  • マルチモーダルWG（岡崎, 前田）[資料]
  • コーパス構築WG（河原）[資料]
  • 評価・チューニングWG（宮尾）[資料]
  • DeepSeek R1 671Bで198トークン/秒を実現するデータフローアーキテクチャについて(林 憲一/SambaNova Systems) [資料]
  • PLaMo 2トークナイザについて（今城 健太郎/Preferred Networks) [資料]
  • LLM-jp-3の事前学習過程における下流タスク性能の分析（小田, 西田） [資料]
• 2025-1-14
  • LLM-jp 状況報告（黒橋）[資料]
  • モデル構築WG（鈴木）[資料]
  • マルチモーダルWG（岡崎）[資料]
  • 評価・チューニングWG（宮尾）[資料]
  • 実環境インタラクションWG（尾形）[資料]
  • コーパス構築WG（河原）[資料]
  • 「循環器内科での大規模マルチモーダルモデル開発（心電図・レントゲン）」(高橋淳一郎/東京大学)[資料]
  • 「レントゲン読影レポート生成モデルの開発」(馬場凱渡/東京大学)[資料]
  • 「高品質なLLMデータセットを開発するための取り組み」（寺澤友治朗/株式会社APTO)[資料]
  • 「合成データを用いた LLM の学習」(清丸）[資料]
• 2024-11-26
  • LLM-jp 状況報告（黒橋）＜口頭報告のみ＞
  • 大規模言語モデルTanukiの開発と評価 (畠山 歓/東京科学大学 物質理工学院 材料系) [資料]
  • 国際会議論文紹介（EMNLP2024）高木 [資料] 児玉 [資料] Liu [資料]
  • 安全性WG（関根）[資料]
  • コーパス構築WG（河原）[資料]
  • 評価・チューニングWG（宮尾）[資料]
  • 実環境インタラクションWG（尾形）[資料]
  • モデル構築WG（鈴木）[資料]
  • マルチモーダルWG（岡崎）[資料]
  • lm-jp-3-172bの学習状況についてのディスカッション（小田）[資料]
• 2024-10-29
  • LLM-jp 状況報告（黒橋）
  • BritLLM: Organising, producing, and publishing the first British Large Language Model (Pontus Stenetorp/NII)
  • PLaMo100Bの事前及び事後学習(三上裕明、中郷孝祐/株式会社Preferred Elements)[資料]
  • マルチモーダルWG（岡崎、笹川慶人、前田航希、杉浦一瑳）[資料]
  • モデル構築WG（鈴木）[資料]
  • コーパス構築WG（河原）[資料]
  • 評価・チューニングWG（宮尾）[資料]
  • 安全性WG（関根）[資料]
  • 実環境インタラクションWG (尾形）[資料]
• 2024-08-27
  • Web上の記事クローリングと著作権侵害（柿沼太一/STORIA法律事務所）
  • Beyond English-Centric LLMs: What Language Do Multilingual Language Models Think in?（Qianying Liu/NII）
  • 実環境インタラクションWG（尾形）
  • コーパス構築WG（河原）
  • 評価・チューニングWG（宮尾）
  • マルチモーダルWG（岡崎）
  • 安全性WG（関根）
  • モデル構築WG（鈴木）
• 2024-07-30
  • LLM-jp 状況報告（黒橋）
  • オープンソースAIとは何か?「オープンソースAIの定義」ドラフト版の解説（佐渡秀治/LY Corporation）
  • Hallucination対策に関する最近の動向（蔦/NII）
  • コーパス構築WG（河原）
  • 安全性WG（関根）
  • 評価・チューニングWG（宮尾）
  • マルチモーダルWG（岡崎）
  • さくらクラスタの準備状況の報告（空閑/東大)
  • モデル構築WG（鈴木）
• 2024-06-25
  • LLM-jp 状況報告（黒橋）
  • 大規模言語モデルによる文書画像理解の最新動向（NTT田中)
  • Nejumi Leaderboard3の開発（W&B鎌田)
  • Sarashina: SB Intuitionsの日本語事前学習モデルの紹介（SB Intuitions高瀬）
  • Mechanistic Interpretabilityについて: Scaling Monosemanticity(Anthropic, 2024)の紹介（高木）
  • コーパス構築WG（河原）
  • モデル構築WG（鈴木)
  • 評価・チューニングWG（宮尾）
  • 安全性WG（関根）
  • マルチモーダルWG（岡崎）
• 2024-05-28
  • LLM-jp 状況報告（黒橋）
  • 1000億パラメータ規模の日本語LLMの開発（stockmark近江）
  • Databricksにおける生成AIの取り組み（Databricks弥生）
  • 他言語モデルの作成方法について（Lightblue Peter）　
  • コーパス構築WG（河原）
  • モデル構築WG（鈴木）
  • 評価・チューニングWG（宮尾）
  • 安全性WG（関根）
  • マルチモーダルWG（岡崎）
• 2024-03-26
  • LLM-jp 状況報告（黒橋）
  • ABEJAにおけるGeniacプログラムの取り組み（服部）
  • Prompt Tuning から Fine Tuning への移行時期推定（久保）
  • ichikara-instructionが生むハルシネーションを減らす実験、　LessNE実験（理研 関根）
  • 評価・チューニングWG（宮尾）
  • コーパス構築WG（河原）
  • 安全性WG（関根）
  • モデル構築WG（鈴木）
• 2024-1-22
  • 観測データからのLLMの学習及び自己改善ループについて、因果推論手法との接地（京大 三内）
  • ichikara-instructionを使ったLLMの人間による評価とGPTによる評価の比較分析 （理研 関根）
  • Kotoba Tech.の状態空間モデルと音声能力開発 （Kotoba Tech. 小島）
  • 大規模言語モデルSwallow （東工大 岡崎、水木）
  • 安全性WG （関根）
  • コーパス構築WG （河原）
  • 評価・チューニングWG （宮尾）
  • モデル構築WG （鈴木）
• 2023-11-29
  • LLM-jp 状況報告（黒橋）
  • LLMの安全対策サーベイと日本語データ（理研AIP 鈴木久美）
  • ビジネスのドメインや最新情報に対応した130億パラメータの日本語事前学習モデルの開発（ストックマーク 近江）
  • 医療における大規模言語モデルの可能性と進歩（東大 小寺）
  • コーパス構築WG（河原）
  • モデル構築WG（鈴木）
  • 評価・チューニングWG（宮尾）
  • 安全性WG（関根）
• 2023-10-18
  • Heronを使ったV&Lの学習と応用（Turing 井ノ上）
  • Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」について（ELYZA 中村）
  • 大規模言語モデル PLaMo-13Bの事前学習（Preferred Networks 三上）
  • 大規模言語モデルの実ロボット応用例（東大 河原塚）
• 2023-09-04
  • Model imitationによるInstruction tuningのサーベイ（水木）
  • PEFT: LazyLoRA （Wu）
  • Stability AI Japanにおける大規模言語モデルの研究開発（Lee）
  • 生成AI構築と著作権（柿沼）
  • 日英2ヶ国語対応の大規模言語モデル “Weblab-10B” の構築（小島）
• 2023-07-20
  • ACL2023 参加報告 (児玉) (山田) (植田) (出口)
  • LLM周辺技術（2023年5月〜6月）（鶴岡）
• 2023-06-19
  • サイバーエージェント基盤モデルプロジェクトについて（石上・佐々木）
  • 日本語T5と学習におけるTips（西鳥羽）
  • ABCI グランドチャレンジ参加報告（坂口）
  • NICTでの大規模言語モデルの研究開発（鳥澤）
  • NII からの話題提供：ドメイン適応（相澤）
• 2023-05-15
  • PaLM2 Technical Report 論文紹介（岡崎）
  • 日本語の基盤モデルと言語理解ベンチマークの共進化に向けて（河原）
  • LLM サーベイ（河原・菅原・栗田）