生成人工智能研究为创作者提供引导式图像结构控制
新的研究正在提升人工智能的创造力，通过文本引导的图像编辑工具。这项研究提出了一种使用即插即用扩散特征（PnP-DF）的框架，可以指导真实和精确的图像生成。视觉内容创作者可以通过一个提示图像和几个描述性单词，将图像转换为视觉效果。
可靠而轻松地编辑和生成内容的能力有可能扩大艺术家、设计师和创作者的创作可能性。它还可以加强依赖动画、视觉设计和图像编辑的行业。
“最近的文本到图像生成模型标志着数字内容创作进入了一个新时代。然而，将它们应用于现实世界应用程序的主要挑战是缺乏用户可控性，这在很大程度上被限制为仅通过输入文本来指导生成。我们的工作是为用户提供对图像布局控制的首批方法之一，”NarekTumanyan说，魏茨曼科学研究所的主要作者和博士候选人。
最近在生成人工智能方面的突破为开发强大的文本到图像模型开辟了新的途径。然而，复杂性、模糊性和对自定义内容的需求限制了当前的渲染技术。
该研究介绍了一种使用PnPDFs的新方法，该方法改进了图像编辑和生成过程，使创作者能够更好地控制其最终产品。
研究人员从一个简单的问题开始：扩散模型是如何表示和捕捉图像的形状或轮廓的？该研究探索了图像在生成过程中的内部表征，并考察了这些表征如何编码形状和语义信息。
新方法控制生成的布局，而无需训练新的扩散模型或对其进行调整，而是通过理解空间信息是如何在预训练的文本到图像模型中编码的。在生成过程中，模型从引入的引导图像中提取扩散特征，并将其注入生成过程的每个步骤，从而对新图像的结构进行细粒度控制。
通过结合这些空间特征，扩散模型对新图像进行细化，以匹配制导结构。它迭代地执行这一操作，更新图像特征，直到它降落在最终图像上，该图像保留了指南图像布局，同时也匹配了文本提示。
作者写道：“这产生了一种简单有效的方法，将从制导图像中提取的特征直接注入到翻译图像的生成过程中，不需要训练或微调。”。
这种方法为更先进的受控生成和操作方法铺平了道路。
视频1。“文本驱动的图像到图像翻译的即插即用扩散特征”研究综述2023ConferenceonComputerVisionandPatternRecognition（CVPR）研究人员利用cuDNN加速PyTorch框架，在NVIDIAA100GPU平台上开发和测试了PNP模型。据该团队称，GPU的大容量使他们能够专注于方法开发。研究人员获得A100的支持，是因为他们参与了NVIDIAAppliedResearchAcceleratorProgram。
该框架部署在A100上，在大约50秒内从引导图像和文本转换出新图像。
这个过程不仅有效而且可靠，可以准确地生成令人惊叹的图像。它还可以超越图像，翻译草图、绘图和动画，并可以修改照明、颜色和背景。
图1。该方法的样本结果保留了引导折纸图像的结构，同时匹配了目标提示的描述（来源：Tumanyan，Narek等人/CVPR2023年)他们的方法也优于现有的文本到图像模型，在保留制导布局和偏离其外观之间实现了卓越的平衡。
图2:将该模型与P2P、DiffuseIT、具有三种不同噪声水平的SDedit以及VQ+CLIP模型进行比较的示例结果（资料来源：Tumanyan、Narek等人/CVPR2023年)然而，该模型确实存在局限性。当编辑具有任意颜色的图像部分时，它不能很好地执行，因为模型不能从输入图像中提取语义信息。
研究人员目前正致力于将这种方法扩展到文本引导的视频编辑中。这项工作也被证明对其他利用扩散模型中图像内部表示分析能力的研究有价值。
例如，一项研究利用团队的研究见解来改进计算机视觉任务，如语义点对应。另一个重点是扩大文本到图像生成控制，包括对象的形状、位置和外观。
来自魏茨曼科学研究所的研究小组将在CVPR2023上发表这项作品，该作品也在GitHub上开源。
想要了解更多关于团队的信息，请访问项目页面。阅读研究报告Plug-and-PlayDiffusionFeaturesforText-DrivenImage-to-ImageTranslation。观看NVIDIA研究在CVPR2023上实现的人工智能突破。
青海海西：人工智能助力健康惠民
近年来，海西蒙古族藏族自治州认真贯彻落实国家医改政策及《青海省卫生健康事业发展“十四五”规划》等文件精神，以“构建优质高效的医疗卫生服务体系、解决群众就医难题”为目标，全力推动“互联网+医疗健康”发展，以医疗人工智能技术为抓手，在促进优质医疗资源下沉，提高医疗卫生服务能力，提升群众就医获得感等方面取得了积极成效。
提升基层医疗能力保障医疗质量
“智医助理”是服务于基层医生的人工智能全科辅助诊疗系统，系统集智能问诊、病历书写、病历质检、辅助诊断、推荐诊疗、医学知识检索等于一体，助力提升基层医生诊疗服务能力、规范诊疗行为、扩充基层医生知识库，让患者可以享受到更专业的医疗服务，有效缓解基层医疗机构诊疗服务能力不足的情况。
2019年12月，海西州都兰县正式试点上线智医助理辅助诊疗系统，截至目前，系统已推广到全州12家二级公立医院、34家乡镇卫生院（社区卫生服务中心）、220家村卫生室，累计书写就诊病历252902份，其中规范病历202731份，病历规范率从40%提高到84.22%，2022年基层医疗卫生机构诊疗量占总诊疗量49.69%，较上年提高4.89%，2022年全州县域内就诊率为96.71%。同时，系统集成了青海省药品目录，为医生首先推荐基本药物，有效提高了基本药物使用率。
对于这位特殊“助手”带来的帮助，海西州都兰县人民医院的任涛医生感受颇深。今年四月份，任医生接诊了一位胸部外伤患者，依据患者的症状和查体结果，初步诊断为胸部损伤。而电脑上的智医助理提示“危”字，推断患者有肋骨骨折的可能性。任医生在参考了智医助理的疑似诊断和推荐检查后，安排患者做了CT并最终确诊肋骨骨折。任医生感慨到：“运用智医助理后，可以通过智能辅诊，帮助我们详细询问患者病情，准确诊断，有效避免了误诊漏诊。”
健康服务“零距离”百姓就医“不跑路”
海西州积极探索“互联网+医疗”模式，通过互联网医院促进卫生健康服务优化，将完整医疗数据带到专家手上，将专家带到基层患者床边，促进优质医疗资源公平可及。
海西州互联网医院以海西州人民医院为依托建设，是青海省第二家获批互联网医院执照的机构，目前已实现全州7家公立医院入驻，在线开展预约挂号、缴费、报告单查询、常见病及慢性病复诊、药品配送等服务，已注册人数14.34万人、诊间支付13.39万人，传统而繁杂的就诊模式因“触网”而变得简单，有效实现了医疗资源互联互通，提高患者就医获得感和满意度。
家住德令哈市的关女士就是一名“互联网+医疗健康”的受益者。关女士因孕期相关问题需要频繁定期咨询，每次往返医院和家里都费时费力，给她造成了不小的困扰。如今，“用了互联网医院线上问诊咨询功能，才知道看病原来如此简单。不仅省去了来回医院的时间和路途周折，而且问诊咨询时医生耐心细致解答我的所有问题，非常方便。”在经历了几次线上咨询问诊后，关女士由衷的感慨到。
海西州位于青藏高原北部、青海省西部，特殊的高原低氧环境使得脑卒中的发病、致残及病死率均高于全国平均水平，如何有效甄别与防治高原多发疾病一直是困扰海西州卫生健康工作的一个难题。为有效保障全州人民群众的生命健康，海西州依托浙江援青公益项目，开展脑卒中高危人群早筛早治行动。一方面在海西州互联网医院上开展脑卒中专题线上咨询服务，让群众在家门口就可以享受到优质医疗服务；另一方面，以人工智能语音随访系统为抓手，运用大数据分析，对40岁及以上的高危人群精准筛查，并进行健康宣教，让更多人知晓治疗渠道。作为人工智能助力健康惠民的另一生动实践，全州各级医疗机构上线智能语音随访中心，累计服务202.91万人次，高效开展新冠肺炎知识宣教、体检通知、慢性病随访、接种通知、健康关怀等服务，有效减轻医护人员随访负担，提升医疗服务水平。
创新医疗服务举措织密区域协同网
为进一步完善医疗卫生服务体系，海西州在德令哈市、都兰县、乌兰县、天峻县各级医疗卫生机构部署“云医声”，依托县域紧密型医共体，实现区域诊疗业务协同和数据互联互通。使用“云医声”医护人员只需携带手机就可开展移动办公，随时随地查阅病人诊疗数据，实现“一机在手，信息全有”，大幅提升医生工作效率。对此，海西州人民医院康复科巴医生表示，“印象最深的是可以语音查房，不用手动输入，识别还挺准。我还可以直接在手机里看到很多医学文献，查询非常方便，让我们住院医生的工作和学习都轻松了很多。”
此外，依托区域“云医声”，让全州开展分级诊疗工作更加便捷，协助患者基层首诊和双向转诊，推动落实多学科联合诊疗和查房制度。同时系统汇集10类140余项监管数据，切实加强了医疗卫生行业综合监管，满足医院绩效考核、医改指标等相关指标考核要求，助力海西州卫生健康业务管理与决策支持。
自浙江省与青海省海西州建立对口支援联系以来，在海西州委州政府以及援青指挥部的大力支持下，卫生信息化建设取得新进展，卫生基础设施建设得到明显改善，卫生健康领域帮扶工作取得明显成效，优质医疗资源公平可及变得掷地有声。下一步，海西州将用足用好用活医疗援青资源，持续探索人工智能与医疗健康融合，夯实医疗卫生服务能力建设，持续推动全州卫生健康事业高质量发展，为建设社会主义现代化新海西提供健康支撑。