このドキュメントは AI によって生成されました。誤りを発見された場合、または改善のご提案がある場合は、ぜひご貢献ください! GitHub で編集TrainLoraNode は、提供された潜在表現(latents)および条件付けデータを用いて、拡散モデル上に LoRA(低ランク適応:Low-Rank Adaptation)モデルを作成・学習します。このノードにより、カスタムの学習パラメーター、オプティマイザー、損失関数を用いたモデルのファインチューニングが可能です。ノードの出力には、学習済み LoRA の重み、学習時の損失履歴、および完了した総学習ステップ数が含まれます。
入力
| パラメーター | データ型 | 必須 | 範囲 | 説明 |
|---|---|---|---|---|
model | MODEL | はい | - | LoRA を学習させる対象となるベースモデルです。 |
latents | LATENT | はい | - | 学習に使用する潜在表現。モデルのデータセット/入力として機能します。リスト入力に対応。 |
positive | CONDITIONING | はい | - | 学習に使用する正の条件付けデータです。リスト入力に対応。 |
batch_size | INT | はい | 1–10000 | 学習時に使用するバッチサイズ(デフォルト:1)。 |
grad_accumulation_steps | INT | はい | 1–1024 | 勾配蓄積ステップ数。複数ステップの勾配を蓄積してから重みを更新することで、VRAM を増やさずに大きなバッチサイズと同等の効果が得られます(デフォルト:1)。 |
steps | INT | はい | 1–100000 | LoRA の学習を行う総ステップ数(デフォルト:16)。 |
learning_rate | FLOAT | はい | 0.0000001–1.0 | 学習率(デフォルト:0.0005)。 |
rank | INT | はい | 1–128 | LoRA 層のランク。値が高いほど多くの詳細をとらえますが、VRAM 使用量が増加します(デフォルト:8)。 |
optimizer | COMBO | はい | ”AdamW" "Adam" "SGD" "RMSprop” | 学習時に使用するオプティマイザー(デフォルト:“AdamW”)。 |
loss_function | COMBO | はい | ”MSE" "L1" "Huber" "SmoothL1” | 学習時に使用する損失関数(デフォルト:“MSE”)。 |
seed | INT | はい | 0–18446744073709551615 | LoRA 重みの初期化およびノイズサンプリングに使用するランダムシード(デフォルト:0)。 |
training_dtype | COMBO | はい | ”bf16" "fp32" "none” | 学習時に使用するデータ型。none はモデルのネイティブ精度を保持します。fp16 モデルの場合は GradScaler が自動的に有効になります(デフォルト:“bf16”)。 |
lora_dtype | COMBO | はい | ”bf16" "fp32” | LoRA 重みの保存に使用するデータ型(デフォルト:“bf16”)。 |
quantized_backward | BOOLEAN | はい | - | training_dtype が none で量化モデルを使用する場合、逆伝播で量化行列積を使用します(デフォルト:False)。 |
algorithm | COMBO | はい | ”LoRA" "LoHa" "LoKr" "OFT” | 学習時に使用する重みアダプターアルゴリズム(デフォルト:“LoRA”)。 |
gradient_checkpointing | BOOLEAN | はい | - | 逆伝播時にアクティベーションを再計算して VRAM を削減するグラジエントチェックポイントを有効化します(デフォルト:True)。 |
checkpoint_depth | INT | はい | 1–5 | グラジエントチェックポイントのモジュールネスト深度。深いほど VRAM 削減量が増加します(デフォルト:1)。 |
offloading | BOOLEAN | はい | - | 学習中にモデルの重みを CPU にオフロードして VRAM を節約します。gradient_checkpointing の有効化が必要です(デフォルト:False)。 |
existing_lora | COMBO | はい | 複数の選択肢あり | 既存の LoRA ファイルを選択してトレーニングを継続します。総ステップ数は自動的に累積されます。[None] は新規 LoRA の作成を意味します(デフォルト:“[None]”)。 |
bucket_mode | BOOLEAN | はい | - | 解像度バケットモードを有効化します。ResolutionBucket ノードからの入力が必要です(デフォルト:False)。 |
bypass_mode | BOOLEAN | はい | - | 重みを直接変更せずフォワードフックでアダプターを適用します。量化モデルに対応(デフォルト:False)。 |
出力
| 出力名 | データ型 | 説明 |
|---|---|---|
lora | LORA_MODEL | 学習済み LoRA の重み。LoraModelLoader ノードで保存または他のモデルに適用できます。 |
loss_map | LOSS_MAP | 学習過程の損失履歴。LossGraphNode に接続して可視化できます。 |
steps | INT | 完了した総学習ステップ数(既存 LoRA からの先行ステップを含む)。 |