图片转 PPT 后查漏:完整性检查在找什么、怎么修

更新于

图片转 PPT 后怎么查漏:完整性检查在找什么、如何按严重程度分级,以及哪些问题会被自动修复。

图片转 PPT 不是拆完就算完:完整性检查是在拆解完成后,让同一个多模态模型拿原图对照刚拆出来的元素清单再审查一遍。它回答三个问题:有没有遗漏的、有没有画错的、有没有多出来的。查出的问题写成一份结构化报告;明确遗漏、又能给出精确坐标的元素,直接作为「新增·待确认」补进页面;指向某个已有元素的严重问题,自动交给单元素修改修正一次。所有改动都回到待确认状态,导出前仍然要人工逐项确认,模型补充的内容不会绕过人工审核。

做图片转 PPT 时,完整性检查只看原图和元素的数值参数,不看渲染出来的效果。「画出来是否和原图一致」由视觉复检负责。

什么时候运行

  • 自动:拆解完成后立即运行。检查期间元素清单显示的是拆解的正式结果。
  • 手动:「完整性检查」标签页里的「开始检查」(还没检查过时),或报告右上角的「重新检查」。

界面提示:

时机 提示
检查进行中 分析完成,正在做完整性检查…
自动检查补齐了元素 分析完成,完整性检查补齐了 N 个遗漏元素,请逐项确认。
自动检查无补齐 分析完成,请逐项检查并确认元素。
自动检查未完成 分析完成;完整性检查未完成,可点【重新检查】重试。
手动检查完成 完整性检查完成,已补齐 N 个遗漏元素,请逐项核对确认。/完整性检查完成,未发现遗漏。

自动检查没有完成时,拆解结果照常保留,只是暂时没有报告,可以手动重试。

「完整性检查」标签只在 imageToEditablePPT-Agent 下出现,标签上的数字是报告里的问题条数。

发给模型什么

发给模型的内容依次是:

  1. 任务说明:对照原图审查页面的完整性和还原度,画布按原图像素计算;
  2. 已经放在页面上的图片清单(见下文);
  3. 页面描述规则,以及照片和插画的处理要求(见下文);
  4. 固定的检查清单;
  5. 当前所有元素的类型、名称和参数;
  6. 报告的输出格式。

附带的图片只有一张:用户上传的原图。检查使用和拆解相同的模型;没有配置模型时,会提示「图像分析未配置,无法运行完整性检查。」。

不发给模型的:渲染截图、元素的确认状态,以及图片的像素(图片只以文字清单的形式出现)。

检查清单

检查清单有 10 个类别,和报告里的分类一一对应,完整性检查和视觉复检共用:

类别 查什么
元素遗漏 原图里有、页面里没有:文字块、图标、分隔线、边框、形状、背景色块、箭头、表格线
文字内容 文字是否和原图逐字一致:缺字、错字、截断、大小写、换行
文字样式 字号、粗体/斜体、颜色、对齐
位置大小 位置、尺寸、比例是否和原图一致
颜色填充 填充、描边和背景颜色是否准确
图形近似 用多边形或线条近似的图形能否认出来;画成零散线条和文字的表格应该是一个表格;用一组多边形、线条、椭圆拼出来的图标应该是一个图标,并写明该用哪一个
阴影/效果 原图有阴影、模糊、外发光而元素没有,或者效果画错;原图没有的效果不要加
层级遮挡 绘制顺序是否造成了错误的遮挡
多余/幻觉 页面里有、原图里没有的元素
完整度 整体评级(高/中/低)加一句总结
检查清单中的常见问题样张
教学示意图 · 检查清单中的常见问题样张

照片和插画保持原样

为了让照片和插画保持原图的样子,我们要求模型不要用多边形去补画它们。照片、截图、插画、复杂 logo 这类图标库也画不出来的内容,缺失或者被画成一组多边形、线条、椭圆时,报为「图形近似」或「元素遗漏」,但不提出补充,由用户用「转为图片」从原图抠出一张图替换。

已经放好的图片

页面上的图片和普通元素分开保存。为了避免模型对着原图检查时把已放图片的区域当成遗漏,我们把图片清单(名称和位置)写进说明,分三种情况:

  • 抠图:这些区域已经是从原图裁出的图片,画在所有元素之上,不要报遗漏或多余,也不要提议补画;
  • 用户插入的外链图片:和原图不同是有意为之,不要报遗漏、多余或错误;
  • 早期保存的、没有本地副本的外链图片:显示为灰色虚线占位框,规则同上。
完整性检查的实际输入
教学示意图 · 完整性检查的实际输入

报告长什么样

每条问题包含严重程度、类别、说明,以及可选的关联元素。

  • 严重程度:严重、中等、轻微、提示。
  • 完整度:高 / 中 / 低,显示为「完整度高/中/低」。
  • 关联元素:问题指向某个已有元素时,点击这条问题可以定位到该元素。
  • 补齐元素:模型认为明确遗漏、并能给出精确像素坐标的元素,必须是合法的页面元素。

解析报告时逐项处理,一条格式有误的问题不会让整份报告失效:

  • 模型回复前后附带说明文字或代码块标记时,仍能读出报告;完全读不出报告时提示「检查模型未返回有效的 JSON 报告」;
  • 无法识别的完整度按「低」处理,无法识别的严重程度降为「提示」;
  • 类别不合法或说明为空的问题直接丢弃;
  • 每份报告最多 40 条问题、24 个补齐元素,过长的说明会被截断。

报告怎么落到页面上

报告解析之后依次执行:补齐遗漏 → 自动修复严重问题 → 保存报告。

补齐遗漏:只能是「新增·待确认」

补齐的元素先校正居中、右对齐文字的位置,然后逐个处理:

  1. 分配不与已有元素和图片重复的编号;
  2. 加到页面末尾,整页重新通过脚本校验;
  3. 通过就保留;不通过就跳过,并在报告里补一条提示,说明模型建议补齐的一个元素几何不合法、已跳过。

补进来的元素一律是未确认状态。元素清单给它们挂上「新增·待确认」徽标,画布上闪烁 1.4 秒,清单滚动到第一个新增元素。

严重问题自动修一次

自动修复只处理同时满足以下条件的问题:

  • 严重程度是「严重」;
  • 关联了一个仍然存在的元素;
  • 类别不是多余、遗漏、层级、完整度。这几类不是修改一个元素能解决的:多余的元素需要删除,遗漏已经由补齐处理,层级和完整度是整页问题。

每个元素最多修一次,每次检查最多尝试 6 次,避免一连串修改拉长耗时、增加费用。修正时把问题说明作为修改要求,交给单元素修改(模型看原图和元素清单),结果同样要通过脚本校验。修好的元素回到待确认,问题上标「已自动修复」;没有修成时补一条提示「自动修复失败,请手动处理:…」。

其余问题交给用户:

级别 处理
严重(可单元素修改的类别,且关联元素) 自动修一次
严重(整页类别,或没有关联元素) 只列出
中等(关联元素) 报告里提供「修复」按钮,由用户决定是否修改该元素
轻微 / 提示 只列出
自动尝试修复与人工处理分流
教学示意图 · 自动尝试修复与人工处理分流

保存与状态

有补齐或自动修复时,任务回到待审核状态;导出仍然要求全部元素已确认。报告随任务保存,服务重启后仍然可以查看。

报告什么时候算过期

报告保存时会记下当时页面内容的签名:画布尺寸、背景和每个元素的类型与参数,不包含确认状态。签名在补齐和自动修复之后才计算,所以刚生成的报告不算过期。之后只要修改过元素,报告顶部就会提示「脚本已改动,此报告可能过期,建议重新检查。」。

签名不包含确认状态,是因为拿到报告之后的下一步就是逐个确认元素;如果确认也让报告过期,报告就失去了参考价值。

运行条件

  • 同一任务一次只能运行一个操作。
  • 需要先有拆解结果。
  • 需要原图:来自 .pptx 导入的页面没有原图可对照,不能使用完整性检查。
  • 应用重设计后页面不再对照原图,完整性检查暂不可用,撤销重设计后恢复。
  • 同一时间最多运行 2 个 AI 操作。
  • 单次检查最长 300 秒,检查本身和最多 6 次自动修复共用这个时限。
  • 模型服务出错时,界面显示原因;错误信息中的密钥会被隐去。

和视觉复检的区别

两道检查共同决定图片转 PPT 的成品率。两者共用检查清单、输出格式、报告解析、补齐和自动修复规则,界面上的报告样式也相同。区别在输入:完整性检查只给原图和元素的数值参数,模型要根据参数判断元素画出来是什么样;视觉复检额外附上一张浏览器里截取的渲染图,让模型对比两张图,专门查找渲染之后才显现的问题。完整性检查在拆解后自动运行,视觉复检需要手动发起。详见专题:大模型视觉校验。

报告解析、补齐、自动修复和过期判断都有自动化测试覆盖。

目前的限制

  • 不看渲染效果。字体回退、实际颜色、遮挡这类问题需要用视觉复检发现。
  • 补齐只能是原生元素。照片、插画、复杂 logo 只会报告出来,请用「转为图片」从原图抠图替换。
  • 多余的元素不会自动删除,需要手动删除。
  • 检查使用和拆解相同的模型,完整度评级是模型给出的评估,模型输出可能有偏差,所以补齐和修改的结果都要人工确认。

返回目录

图片转幻灯片