人工智能利用无偏差解码器控制强度解决风格转换的偏差样式问题
人工智能利用无偏差解码器学习解决任意风格转换的偏差样式问题任意风格转移:自适应实例规范化(AdaIN)方法[5],采用内容图像和目标样式图像的任意样式转换的体系结构,使用样式特征映射的均值和标准差来转换内容特征映射,而不是使用学习的样式表示[4]。AdaIN使用VGG16-net[6]作为特征提取器网络,并将其镜像网络用作解码器网络(或生成器网络)。AdaIN层位于特征提取器网络和解码器网络之间,以通过特定于内容的实例规范化,然后是特定于样式的仿射变换,将内容特征映射转换为样式特征映射。AdaIN层中的样式强度参数可用于在内容图像(当样式强度参数为零时)和目标样式图像(当样式强度参数为1时)之间插入输出图像的样式强度。此外,由于AdaIN层和VGG16-net作为特征提取器网络的确定性变换,唯一仍然需要学习的部分是解码器网络,这导致相对较低的训练时间消耗。
当样式强度参数为1时,AdaIN方法的输出图像具有合适的样式和内容,即输出图像具有目标风格。然而,当其样式强度参数为零时,即输出图像具有内容样式时,输出图像的样式与输入内容图像不同。其原因和解决方案将在下一部分中介绍。
无偏的解码器学习:样式强度参数值为零的AdaIN方法的输出图像与内容图像不同,而是偏置图像。这种偏置输出的原因是因为解码器网络仅使用偏置的训练数据进行训练。AdaIN方法使用大量样本,其由对应于样式强度参数值1的偏置{内容图像,目标样式图像}对组成。因此,AdaIN的解码器经过训练,可以输出符合其风格强度的偏向风格。当样式强度参数为零时,该偏置解码器不保证内容样式的无偏输出。
解决此问题的一种简单但有效的方法是将无偏的{内容图像,内容图像}对添加到训练数据中。添加的对提供了额外的约束,允许解码器网络在训练过程中样式强度参数为零时为所有样式生成无偏内容图像。另一方面,有偏见的对{contentimage,targetstyleimage}鼓励解码器网络在样式强度参数为1时针对所有样式进行优化。添加额外的无偏训练数据与将无偏训练样本生成的无偏输出图像的样式丢失和内容丢失添加到先前定义的损失函数相同。这是一种更简单的方法,可以在样式优化和无偏见的学习之间取得平衡。
试验:我们将图像样式转换的结果与AdaIN方法[5]和我们提出的无偏学习方案进行了比较。为了公平比较,我们使用与AdaIN方法相同的网络结构,即特征提取器网络(VGG16-net,固定)-样式变换(AdaIN层,固定)-解码器网络(镜像VGG16-net,训练)。要训练解码器网络,MicrosoftCOCO数据集[7]和kagglePainterbyNumbers数据集[8]分别用作内容图像和样式图像。每个数据集有大约80,000个图像。调整这些图像的大小,使其短边具有256个像素,并随机裁剪为256×256像素大小。
AdaIN方法的原始损失函数用于偏向解码器学习,而{内容图像,内容图像}对的风格丢失和内容丢失被添加到用于无偏解码器学习的原始损失函数中。这里,relu1_2,relu2_2,relu3_3和relu4_3层的VGG16-net被用作样式特征图和relu3_3VGG16-net用作内容特征图。对于样式要素图,图层的权重配置为[0.25,0.25,0.25,0.25],对于内容要素图,为[1.0]。风格损失与内容损失的比率为5e1。在训练过程中,我们使用了8对随机来自批处理和解码器参数的数据集的{contentimage,styleimage}由Adam优化器在4个时期期间以学习速率1e-3更新。在对有偏差和无偏的解码器网络进行训练之后,我们将几个测试内容图像的样式转换为具有两个样式传输网络的多个测试样式图像的样式。测试图像不包括在训练数据集中。实验在Pytorch框架中用CUDA8.0和cuDNN6.0库完成。每个网络的培训过程耗时约为7小时,NVIDIATitanX(pascal)GPU卡上每对内容和样式图像的样式转换过程不到1秒。图1示出了测试的一些选定结果,其比较了当样式强度参数为零时AdaIN的偏置解码器学习和所提出的偏置解码器学习的性能。图中第一行的图像图1中的图像表示输入内容图像,第二行中的图像表示偏置样式传送网络的输出图像,第三行中的那些表示当样式强度参数为零时的无偏样式传送网络的输出图像。如图所示。如图1所示,与第一行中的输入内容图像相比,第二行中的偏置输出图像具有一些图案和颜色的偏置强度。相反,与第二行中的偏置图像相比,第三行中的无偏图像与内容图像的样式偏差小得多。图2示出了当样式强度参数的值为1时,针对若干输入内容图像和目标样式图像的无偏解码器网络的样式转移输出图像。沿着行和列,分别显示了内容图像和样式图像的变化进展。基于图中的那些图像。2,我们可以验证,我们的无偏解码器网络根据他们的目标风格图像生成无偏的风格转移图像,这些图像不包括在训练数据中。
人工智能利用无偏差解码器学习解决任意风格转换的偏差样式问题结论:本文提出了无偏解码学习方法,解决了先前任意风格转换的偏差样式图像问题。我们的方法包括简单的训练数据增强,将无偏训练样本添加到训练数据中并修改损失函数,该函数使用偏置和无偏训练样本的丢失。通过使用利用增强的训练数据和修改的损失训练的无偏解码器网络,我们的无偏样式传送方法与先前的方法相比实现了无偏的样式图像和内容图像的生成性能,而不会损失处理速度。然而,从我们的风格转移网络生成的无偏图像与原始内容图像相比仍然具有一些差异,如图2所示。1.通过简单地利用直方图拉伸或将对比度匹配项添加到解码器学习的损失函数中可以克服这种小的差异,这更好地使该方法更加复杂。这个主题的研究和实验领域仍然是未来的工作。返回搜狐,查看更多
deepartio: 基于人工智能的在线AI绘画风格转换工具 – 网络探索者
deepart.io是一个基于人工智能的在线AI绘画平台,它可以让你用简单的几步,把你的照片转换成不同风格的艺术作品。它利用了一种叫做神经风格迁移(neuralstyletransfer)的技术,可以把一张图片的内容和另一张图片的风格结合起来,创造出全新的图像。
神经风格迁移是一种深度学习的方法,它使用了卷积神经网络(convolutionalneuralnetworks)来分析和重建图片的特征。deepart.io的目标是让每个人都能够享受到艺术创作的乐趣,无论他们是否有绘画经验或者天赋。
deepart.io的使用方法非常简单,只需要三个步骤:
第一步,上传你想要转换的图片,可以是你自己拍摄的照片,也可以是从网上下载的图片。第二步,选择你想要应用的风格,可以是deepart.io提供的预设风格,也可以是你自己上传的图片。第三步,等待deepart.io处理你的图片,这可能需要几分钟到几小时不等,取决于你选择的质量和分辨率。处理完成后,你就可以下载或者分享你的艺术作品了。你也可以在deepart.io上浏览其他用户创建的作品,并给他们点赞或者评论。
特色功能
高级选项
如果你想要对你的图片进行更多的调整和优化,你可以使用高级选项来控制一些参数。高级选项包括:
风格强度:调节风格图片对内容图片的影响程度,从0%到100%不等。风格比例:如果你选择了两个或者更多的风格图片,你可以调节每个风格图片占比多少。颜色保留:保留内容图片中原本的颜色信息。高斯模糊:对内容图片进行模糊处理,使其更加适应风格图片。预处理:对内容图片进行裁剪、旋转或者翻转,以改变其方向或者比例。使用高级选项,你可以更加精细地控制你的图片的最终效果,创造出更加独特和个性化的艺术作品。
视频转换
除了图片转换,deepart.io还支持视频转换,也就是把你的视频转换成动态的艺术作品。视频转换的步骤和图片转换类似,只是需要上传一个视频文件,然后选择一个或者多个风格图片。视频转换需要更多的时间和资源,所以只有付费用户才能使用这个功能。视频转换的结果可以是一个mp4格式的文件,也可以是一个gif格式的文件。视频转换可以让你的视频更加有趣和富有表现力,适合用于制作短片、广告或者社交媒体内容。
风格库
deepart.io提供了一个丰富的风格库,让你可以选择不同的风格来应用到你的图片或者视频上。风格库中包括了一些著名的艺术家的作品,例如梵高、毕加索、莫奈、达利等,也包括了一些现代和抽象的风格,例如涂鸦、卡通、水彩等。你可以根据你的喜好和场合来选择合适的风格,也可以混合多个风格来创造出新的效果。如果你不满足于风格库中提供的风格,你也可以上传你自己喜欢的图片作为风格图片,这样你就可以实现更多的可能性和创意。
产品价格
deepart.io提供了免费和付费两种用户类型,分别对应不同的功能和服务。免费用户可以使用基本的图片转换功能,但是有一些限制和缺点,付费用户可以享受更多的功能和服务,有两种订阅方式,分别是按月订阅和按年订阅。按月订阅的价格是9.99美元/月,按年订阅的价格是59.99美元/年。如果你想要尝试付费用户的功能和服务,你可以先申请一个7天的免费试用期,如果不满意,你可以在试用期结束前取消订阅。
常见问题
Q:deepart.io是否安全?
A:deepart.io是一个安全可靠的网站,它不会泄露或者滥用你上传的图片或者视频。你上传的图片或者视频只会被用于生成艺术作品,并且会
在被处理后自动删除。你可以选择是否公开或者隐藏你的艺术作品,也可以随时删除你的艺术作品。deepart.io不会向任何第三方出售或者分享你的个人信息或者数据。
Q:deepart.io是否有版权问题?
A:deepart.io不拥有你上传或者生成的图片或者视频的版权,你可以自由地使用或者分发你的艺术作品,但是你需要遵守相关的法律和道德规范,不要侵犯他人的知识产权或者隐私权。deepart.io也不对你上传或者生成的图片或者视频的内容负责,你需要自己承担可能产生的风险和后果。
Q:deepart.io是否支持中文?
A:deepart.io目前只支持英文,但是它的界面和操作都比较简单和直观,即使不懂英文,也可以轻松地使用它。如果你想要使用中文,你可以使用一些在线翻译工具,例如谷歌翻译或者百度翻译,来帮助你理解和输入文字。
Q:deepart.io是否有移动端应用?
A:deepart.io目前没有移动端应用,但是它的网站是响应式设计的,可以适应不同大小和分辨率的屏幕。你可以使用手机或者平板电脑的浏览器来访问deepart.io,并且享受和电脑端相同的功能和服务。
访问网站