メインコンテンツへスキップ
このドキュメントは AI によって生成されました。誤りを発見された場合、または改善のご提案がある場合は、ぜひご貢献ください! GitHub で編集
TrainLoraNode は、提供された潜在表現(latents)および条件付けデータを用いて、拡散モデル上に LoRA(低ランク適応:Low-Rank Adaptation)モデルを作成・学習します。このノードにより、カスタムの学習パラメーター、オプティマイザー、損失関数を用いたモデルのファインチューニングが可能です。ノードの出力には、学習済み LoRA の重み、学習時の損失履歴、および完了した総学習ステップ数が含まれます。

入力

パラメーターデータ型必須範囲説明
modelMODELはい-LoRA を学習させる対象となるベースモデルです。
latentsLATENTはい-学習に使用する潜在表現。モデルのデータセット/入力として機能します。リスト入力に対応。
positiveCONDITIONINGはい-学習に使用する正の条件付けデータです。リスト入力に対応。
batch_sizeINTはい1–10000学習時に使用するバッチサイズ(デフォルト:1)。
grad_accumulation_stepsINTはい1–1024勾配蓄積ステップ数。複数ステップの勾配を蓄積してから重みを更新することで、VRAM を増やさずに大きなバッチサイズと同等の効果が得られます(デフォルト:1)。
stepsINTはい1–100000LoRA の学習を行う総ステップ数(デフォルト:16)。
learning_rateFLOATはい0.0000001–1.0学習率(デフォルト:0.0005)。
rankINTはい1–128LoRA 層のランク。値が高いほど多くの詳細をとらえますが、VRAM 使用量が増加します(デフォルト:8)。
optimizerCOMBOはい”AdamW"
"Adam"
"SGD"
"RMSprop”
学習時に使用するオプティマイザー(デフォルト:“AdamW”)。
loss_functionCOMBOはい”MSE"
"L1"
"Huber"
"SmoothL1”
学習時に使用する損失関数(デフォルト:“MSE”)。
seedINTはい0–18446744073709551615LoRA 重みの初期化およびノイズサンプリングに使用するランダムシード(デフォルト:0)。
training_dtypeCOMBOはい”bf16"
"fp32"
"none”
学習時に使用するデータ型。none はモデルのネイティブ精度を保持します。fp16 モデルの場合は GradScaler が自動的に有効になります(デフォルト:“bf16”)。
lora_dtypeCOMBOはい”bf16"
"fp32”
LoRA 重みの保存に使用するデータ型(デフォルト:“bf16”)。
quantized_backwardBOOLEANはい-training_dtypenone で量化モデルを使用する場合、逆伝播で量化行列積を使用します(デフォルト:False)。
algorithmCOMBOはい”LoRA"
"LoHa"
"LoKr"
"OFT”
学習時に使用する重みアダプターアルゴリズム(デフォルト:“LoRA”)。
gradient_checkpointingBOOLEANはい-逆伝播時にアクティベーションを再計算して VRAM を削減するグラジエントチェックポイントを有効化します(デフォルト:True)。
checkpoint_depthINTはい1–5グラジエントチェックポイントのモジュールネスト深度。深いほど VRAM 削減量が増加します(デフォルト:1)。
offloadingBOOLEANはい-学習中にモデルの重みを CPU にオフロードして VRAM を節約します。gradient_checkpointing の有効化が必要です(デフォルト:False)。
existing_loraCOMBOはい複数の選択肢あり既存の LoRA ファイルを選択してトレーニングを継続します。総ステップ数は自動的に累積されます。[None] は新規 LoRA の作成を意味します(デフォルト:“[None]”)。
bucket_modeBOOLEANはい-解像度バケットモードを有効化します。ResolutionBucket ノードからの入力が必要です(デフォルト:False)。
bypass_modeBOOLEANはい-重みを直接変更せずフォワードフックでアダプターを適用します。量化モデルに対応(デフォルト:False)。
注意: 正の条件付けデータの数は、潜在表現画像の数と一致していなければなりません。複数の画像に対して正の条件付けデータが 1 つだけ与えられた場合、その条件付けデータは自動的にすべての画像に対して繰り返し使用されます。

出力

出力名データ型説明
loraLORA_MODEL学習済み LoRA の重み。LoraModelLoader ノードで保存または他のモデルに適用できます。
loss_mapLOSS_MAP学習過程の損失履歴。LossGraphNode に接続して可視化できます。
stepsINT完了した総学習ステップ数(既存 LoRA からの先行ステップを含む)。