1、腾讯云“中小企业”在线学堂AI2.0时代，如何通过AIGC打造爆款营销内容？#page#CD“中小企业”在线学堂腾讯云5tableDiffusion基本原理介绍#page#导师介绍刘远johanyliu10年+互联网从业经验，精通云原生，拥有丰富的微服务、大数据、机器学习开发和架构经验腾讯云泛互联网行业技术专家“中小企业”在线学堂#page#目录menyDiffusionmodel运行机制5tableDiffusionmodel模块分析“中小企业”在线学堂#page#什么是5tableDiffusionPirateshipSTABLESTABIEDIFRUSIONDIFFUSION文生图：根据

2、文本提示作为输入来图生图：对图像根据文字描述进行修改输生成的图像输入为文本】入为文本+图像】“中小企业”在线学堂#page#5tableDiffusion系统架构图每张图片都满足一定的规律分布，利用文本中包含的分布信息作为指导，将纯噪声的图片逐步去噪，生成一张跟文本信息匹配的图片StableDiffusion是一个组台系统，包含了多个模型子模块，组成扩散PipelineStable DiffusionparadisIXeLcosmioEncoderbeach（CUIPTOXt）Image Information CreatorImageJNDecoder50Difusion“中小企业”在线学堂

3、#page#我们需要什么一种生成图片的神经网络训练方法寻找分布的方法一种连接文字和图片的方法多模态连接的方法一种压缩和解压缩图片的方法加速训练的方法“中小企业”在线学堂#page#Diffusionmodel运行机制“中小企业”在线学堂#page#扩散模型Diffusion1.寻找分布的方法Forward Difusion Process前向扩散过程ForwardDiffusionProcess向图片中逐渐引入噪声来破坏图像，直到图像变成完全随机的噪声后向扩散过程BackwardDiffusionProcessX110x23使用一系列马尔可夫链逐步去除预测噪声，从高斯噪声中生成图片扩散过程由U

4、net网络和采样器scheduler算法】共同完成，在Unet网络中一步步执行生成Denoising UNet过程，其中采样器控制去噪方法和强度0XReverse Diffinsion Process“中小企业”在线学堂#page#数据集生成不断地向图片中添加不同强度的噪音【强度由采样器timestep控制，为数据集中每一个图片都生成n个训练示例Generating a2nd training example with adifferentue Buppe pueaslou BuelauaBKq poee ale solduexe BulueLsample and noise amount (

5、forward diffusion）amount ofit to theimages in the training dataset(forward diffusion）2323GeneratesomeAdd noise toPick an amountGeneratesomePickanamountAdd noise toPickanimagePickanimagetheimage inrandom noiseofnoiseofnoisetheimageinrandom noisethatamountthatamountO36“中小企业”在线学堂#page#模型训练使用上一步的数据集，对Un

6、et模型进行训练，使用真实噪声标签作比较来反向传播更新，训练出“噪声预测器”UNet training stepCompare toactualPickatraining examplePredictthe noiseActueUpdatemodel（backprop）“中小企业”在线学堂#page#加入文本条件将文本信息作为附加控制向量，加入到模型向量中，通过注意力机制得到一个具有丰富语义信息的隐空间向量，引导图像往文本向量Prompt方向生成Predicted noisesampleNoisePredictorNoiseamount:(UNet）3with TextCondrtioning