DeepFloyd IF是由StabilityAI旗下的DeepFloyd研究团队推出的开源的文本到图像生成模型,IF是一个基于级联方法的模块化神经网络。
IF是由多个神经模块(处理特定任务的独立神经网络)构建的,在一个架构内联合起来产生协同效应。
IF以级联方式生成高分辨率图像:从产生低分辨率样本的基础模型开始,然后由一系列的升级模型提升,以创造令人惊叹的高分辨率图像。
IF的基础和超分辨率模型采用扩散模型,利用马尔可夫链步骤将随机噪声引入数据中,然后再反转过程,从噪声中生成新的数据样本。
IF在像素空间内操作,而不是依赖潜伏图像表征的潜伏扩散(如稳定扩散)。