关于断点续训

[achel-x]

非常感谢作者的开源，我在训练的过程中遇到了梯度消失，然后查看其他issue，说是继续断点续训就好了。

但是代码有点复杂，我还需要花一些时间来学习。想请教一下，

1、续训是否就是修改train_diffeic.yaml里的

把我训练好的模型地址放到resume:后，跑起来了，但是有点不知道怎么看是否有用到之前训练的参数，想确认一下
terminal如下：

我这边terminal打印的还是epoch 0，也顺便问一下，2、step和epoch的关系？

3、我这样断点续训后，保存到ckpt是会接着我这里的89999继续下去，还是说重新编号？

[huai-chang]

1. 是滴；
2. epoch = step / dataset_size * batch_size。举例说明：数据集有80000张图片，batch_size设置为4，则一个epoch包含20000steps；
3. 会重新编号，ckpt应该会保存到一个新的文件夹里，例如version_0、version_1。

[achel-x]

非常感谢回复。

还有一个问题，我对pytorch_lightening不太熟悉。保存完整的ckpt每次得存5G左右大小的参数，而inference_partition.py那边显示lc.ckpt才200多M，train 300k个step，每5000step就存一个模型就感觉太占空间了。stable diffusion不参与训练的话，这部分参数是不是也不需要保存？

我想请问如何在训练时，也仅保存这部分参数？

[huai-chang]

非常感谢回复。

还有一个问题，我对pytorch_lightening不太熟悉。保存完整的ckpt每次得存5G左右大小的参数，而inference_partition.py那边显示lc.ckpt才200多M，train 300k个step，每5000step就存一个模型就感觉太占空间了。stable diffusion不参与训练的话，这部分参数是不是也不需要保存？

我想请问如何在训练时，也仅保存这部分参数？

可以不保存stable diffusion的参数的，但我对这部分内容也不太熟悉，你可以自己探索一下

[achel-x]

那再请教一下，您是相当于对train好的5G的参数，做了提取，得到的lc.ckpt来做inference，是吗？您方便把这部分处理代码分享一下吗？

[huai-chang]

那再请教一下，您是相当于对train好的5G的参数，做了提取，得到的lc.ckpt来做inference，是吗？您方便把这部分处理代码分享一下吗？

是的

import torch

ckpt = torch.load('path to model', map_location="cpu")

lc_ckpt = {'state_dict':{key:params for key, params in ckpt['state_dict'].items() if 'preprocess_model' in key or 'control_model' in key}}
torch.save(lc_ckpt, 'save path')