Blog20241201

Blogs

• データ同化 / 中野慎也著. -- 共立出版, 2024.9. -- (統計学one point / 鎌倉稔成 [ほか] 編 ; 26).
  • システム状態の時間発展がある場合．システム状態をあらわす変数ベクトルを使って微分方程式であらわされる．観測にはノイズと誤差を生じる．
  • 4次元変分法，逐次データ同化

• Pythonではじめる量子AI入門 : 量子機械学習から量子回路自動設計まで / 曽我部東馬著. -- 科学情報出版, 2024.8. -- (エンジニア入門シリーズ).

• 大規模言語モデル入門 Ⅱ 生成型LLMの実装と評価 / 山田育矢監修・著 ; 鈴木正敏 [ほか] 著. -- 技術評論社, 2024.9.
  • 前書の続編として書かれている．
  • 指示チューニング：「大量のテキストデータを用いて事前学習されたLLMはそのままでは与えられた文章を補完するという振る舞いしかできず，ユーザの意図を汲んだ挙動にならない．」（参考：Google "Finetuned language net (FLAN)"）
  • 量子化：16ビットのパラメータを4ビット（16通り）に変換しメモリ使用量を削減すること．なお，16ビット数値には，Brain floating point（BF16もある．これはこれまでの浮動小数点数（単精度）の指数部3ビットを5ビットに拡張したもの，これにより3.40×10の38乗まで扱える．）
  • 幻覚：「LLMが保持する知識は有限なため，未知の質問に対して無理やり間違った回答を生成すること」Retrieval-augmented generation(RAG)はデータベース検索を組み合わせてLLMを使い，推論の精度を上げる方法．
  • 分散並列学習：複数のGPUで学習をおこなうこと．現状nVIDIAのH100は80GBのメモリを実装しているが，量子化などをおこなわずに70億パラメータのモデルを処理できなくなっている．LLMの学習は「スケール則」があり性能に大きな影響を与える．複数のGPUが実装されるマシン（ノード）を複数使う場合は「マルチノード学習」，複数のGPUを使う学習は「マルチGPU学習」と呼ばれる．データを分割し，共通のモデルで誤差逆伝播後の勾配を同期する（Deep speed ZERO）．

• デジタル権威主義 : 技術が変える独裁の"かたち" / 大澤傑編著 ; 五十嵐隆幸 [ほか] 著. -- 芙蓉書房出版, 2024.9.
  • デジタル技術が独裁者の権力を強化することに使われている．正統性，抑圧，懐柔を支配して体制の安定化を図る．
  • デジタル民主主義

• 大学FD入門 : 教育改善に取り組む人の必携ガイド /中井俊樹, 西野毅朗編著 ; 佐藤浩章, 竹中喜一, 上月翔太著. -- ナカニシヤ出版, 2024.8.

Last-modified: 2024-11-30 (土) 15:21:26

Link: Blog202412 Blogs