8/5（火)
category
ブレイクアウト
D1-INF-02
フルスクラッチ LLM「PLaMo」の事前学習を支える技術
schedule
13:00 - 13:30
Preferred Networks では、他の LLM をベースとしないフルスクラッチモデル「PLaMo」を開発しています。本セッションでは PLaMo の事前学習を例に、長期学習における Fault Tolerance を中心とした事前学習特有の課題を解決するための仕組みを紹介します。 ノードローカルストレージを使った学習チェックポイントの非同期アップロード、Cloud Logging/Vertex AI を用いた学習と評価ログの保存、学習データセットの Data Integrity、などを紹介予定です。 取り上げる主な Google Cloud 製品 / サービス ・Cloud Logging ・Cloud Storage ・Compute Engine ・Vertex AI TensorBoard
中級者向け
インフラ エンジニア / システム運用管理者
開発エンジニア
ML エンジニア
AI / AI エージェント
コンピューティング
ストレージ
情報通信業
全業種向け