图片转 PPT 后和原图差在哪:视觉复检怎么做

更新于

图片转 PPT 的结果为什么和原图有偏差:渲染转换后的幻灯片,和原图一起交给模型对比,再修掉两者的差异。

图片转 PPT 的结果在元素清单里看着对,画出来仍可能不对,这就是视觉复检要解决的问题:它把当前预览画布在浏览器里截成一张 PNG,和原图一起发给多模态模型,让它对比两张图找差异。完整性检查只给模型看元素的数值参数,模型要根据参数判断画出来是什么样;视觉复检让模型直接看渲染结果,专门查找画出来之后才显现的问题:实际颜色、遮挡、字体回退、真实的位置偏移,以及原图里有而截图里缺失的内容。报告格式、补齐和自动修复规则和完整性检查相同,补进来的元素同样是「新增·待确认」。视觉复检不会自动运行,需要在「视觉复检」标签页里点「开始视觉复检」。

使用流程

面板用 4 步进度条展示过程:截图中 → 上传比对中 → 模型复检中 → 复检完成。说明文字是「把当前预览渲染成截图,与原图逐元素对照,再做一次清单复检。」。复检期间按钮显示「复检中…」;完成后显示「复检报告」,可以点「重新复检」再来一次。

  1. 页面还没有元素时提示「没有可复检的脚本」,画布还没渲染完成时提示「预览尚未就绪」;
  2. 浏览器截取当前预览。截图同时显示在左侧面板的「复检用截图」处,方便确认模型看到的是什么;
  3. 截图和原图一起交给模型对比;
  4. 完成后提示「视觉复检完成,补齐了 N 个遗漏元素,请核对。」或「视觉复检完成。」,新增元素在画布上闪烁,并在清单里标出;
  5. 任何一步失败,错误原因都会显示在面板里。

上传新图片会清掉上一次的截图和进度,因为旧截图和新原图无法对照。

视觉复检的四步过程
教学示意图 · 视觉复检的四步过程

截图怎么来的

截图在浏览器里生成:

  1. 按原图的像素尺寸输出。页面上的画布是缩放显示的,按原尺寸截图,坐标才能和原图一一对应;
  2. 去掉选中框,截图里只有页面内容;
  3. 抠图和已经下载到本地的外链图片,先嵌入截图,确保截图里能看到图片内容;
  4. 没有本地副本的图片(早期保存的外链图片,或图片读取失败)换成灰色虚线框,避免那块区域是空白、被模型报为遗漏;
  5. 铺白色底,输出为 PNG。

同一张截图也作为可选的「当前渲染效果」发给 imageToEditablePPT-Agent 和 beautyPPT-Agent(诊断、生成方案、逐步修改),图片转幻灯片的质量检查复用这一份截图。截图没有成功时就不附带,不影响这些操作。

运行条件

视觉复检和完整性检查使用相同的运行规则:

  • 同一任务一次只能运行一个操作,同一时间最多运行 2 个 AI 操作;
  • 需要先有拆解结果;
  • 需要原图:来自 .pptx 导入的页面没有原图可对照,不能使用视觉复检;
  • 应用重设计后页面不再对照原图,视觉复检暂不可用,撤销重设计后恢复;
  • 截图大小上限和上传原图相同,为 20MB;
  • 单次复检最长 300 秒,复检和随后最多 6 次自动修复共用这个时限;
  • 没有配置模型时,提示「图像分析未配置,无法运行视觉复检。」;模型服务出错时,界面显示原因,错误信息中的密钥会被隐去。

模型按顺序收到两张图:先是原图,再是截图。使用和拆解相同的模型。

对模型提出的要求

复检的说明和完整性检查基本相同,只在开头多了几项要求:

  • 先讲清两张图分别是什么:第一张是原图,第二张是当前页面的渲染截图;
  • 逐处对比截图和原图,报告所有可见的差异,重点是渲染之后才显现的问题:实际颜色、遮挡和层级、字体回退、真实的位置偏移,以及原图里有而截图里缺失的内容;
  • 居中或右对齐的文字渲染后整体偏到一边(比如标签一半露在柱子外面)时,按位置问题报告并给出修正后的位置,而不是报成文字被截断。这类问题只有渲染后才能看出来,也容易被误判为文字内容的问题。

其余部分和完整性检查一致:已放好的图片清单(并说明截图里的灰色虚线框是有意的占位,不要报遗漏或多余)、照片和插画不用多边形补画、同一份 10 类检查清单、当前元素清单和同一个输出格式。两次检查按相同的维度评估。

模型同时看到截图和元素清单,所以能把截图里的偏差对应到具体元素上,报告里的问题可以点击定位,也可以自动修复。

结果怎么处理

和完整性检查使用同一套规则(详见专题:完整性检查):

  • 每份报告最多 40 条问题、24 个补齐元素,格式有误的条目逐项丢弃;
  • 补齐的元素逐个通过脚本校验,不合法的跳过并记一条提示,合法的标为「新增·待确认」;
  • 关联了元素的严重问题(多余、遗漏、层级、完整度除外)自动修复一次,最多 6 次;中等问题提供「修复」按钮;轻微和提示只列出;
  • 复检报告和完整性检查报告分开保存;修改过元素后,报告顶部提示「脚本已改动,此报告可能过期」。

元素清单里的「新增·待确认」徽标同时反映两份报告补齐的元素。导出仍然要求全部元素已确认。

报告解析、补齐和自动修复规则有自动化测试覆盖。

模型的视觉还用在哪些地方

环节 模型看到的图 用途
拆解 原图 拆成可编辑元素,并标出需要抠图的区域
完整性检查 原图 对照元素清单查漏、查错,拆解后自动运行
视觉复检 原图 + 渲染截图 对比渲染结果,手动运行
单元素修改、自动修复 原图 修改一个元素
imageToEditablePPT-Agent 原图 + 可选的渲染截图 根据两张图的差异找出要修正的地方
beautyPPT-Agent 只有可选的渲染截图,不看原图 重新设计时了解当前效果

抠图时模型只给出区域坐标,像素由服务端从原图直接裁出。Agent 修改之后、beautyPPT-Agent 生成方案之后,都不会自动再做一次视觉复检,需要时可以手动发起。

不同操作分别看到哪些图
教学示意图 · 不同操作分别看到哪些图

目前的限制

  • 截图来自浏览器里的预览,不是 PowerPoint 打开导出文件后的效果。阴影、模糊、发光在预览中用 SVG 滤镜近似,字体取决于浏览器当时可用的字体,和 PowerPoint 里的显示不一定完全一致。这也是图片转 PPT 的结果在交付前仍要在 PowerPoint 里打开看一眼的原因。
  • 截图需要在浏览器里生成,所以视觉复检目前不能在拆解后自动运行,需要手动发起。
  • 早期保存的、没有本地副本的外链图片在截图里只是灰色占位框,模型看不到图片内容。
  • 自动修复时,单元素修改参考的是原图,不使用本次的截图。

返回目录

图片转幻灯片