项目名称:图文对框架项目
项目类型:图文对
项目详情:
一、需求1:GUI Caption预训练数据集
1.采购需求
本次采购内容为真实Mobile GUI截图—Caption预训练数据。试采50,000张截图,每张固定交付2条中文Caption(Markdown结构化与非结构化纯文本各1条),合计100,000条;试采验收通过后量采1,000,000张截图、2,000,000条Caption。试采与量采均为独立有效交付数量,仅接受真实移动应用截图,不接受合成、程序渲染或生成式模型生成的GUI。
2.平台与数据范围
本次需求仅覆盖Mobile平台。截图来自真实移动应用,可包含Android、iOS、HarmonyOS等移动操作系统;每张截图必须记录移动操作系统、应用名、包名或Bundle ID、应用版本、界面语言和分辨率。
3.标签体系与截图采集流程
a、标签主链固定为:应用分类 → 应用名 → 一级功能 → 二级功能 → 三级功能 → 四级功能 → 五级功能 → 六级功能 → 页面状态。
b、应用分类采用附件清单中的13类:社交通讯、购物比价、影音娱乐、金融理财、实用工具、生活资讯、出行导航、便捷生活、阅读学习、游戏、运动健康、主题个性、应用市场。
c、供应商先依据“应用分类-应用清单”选择并安装对应App,再依据“应用-功能层级”导航至具体功能页面截图;每张截图必须绑定一个应用分类、一个App及一条最深可达功能路径。页面同时对应多条路径时须指定主路径并可记录备选路径。
d、Top225未覆盖或名称待归一的App,由供应商按相同多级功能Schema补充功能树,试采阶段经甲方确认后方可量采。
4.数据格式与清单要求
图片采用原始格式或PNG/JPEG,短边分辨率≥720像素。结构化标注采用UTF-8 JSONL,每图包含sample_id、image_path、SHA256、来源和授权索引、Mobile环境信息、应用分类、应用名、一级至六级功能、function_path、page_state、OCR/元素证据、22维适用与覆盖标签、两类中文Caption(zh_structured与zh_unstructured)、审核结果及生产溯源。
每批同时提供统计清单、应用与功能覆盖清单、文件路径映射、SHA256清单、来源授权索引、拒绝原因和质检报告。
5.验收标准和合规要求详见需求文档1
6.工期要求:详见需求文档1
二、需求2:多模态图片STEM数据集
1.采购需求
本次采购需要覆盖以下4类数据:
a. 大学及以上多模态题库QA数据(以MMMU、MMMUPro榜单为牵引)
b. 视觉 Puzzle 类多模态题库QA数据(以Mathvision、visualPuzzles、visualLogic等榜单为牵引)
c. 纸质资料实拍图 QA 数据
d. 专业图像数据
2.数据类型需求
a. 大学及以上多模态题库QA数据(以MMMU、MMMUPro榜单为牵引)
1). 学段:仅限大学及以上,不要小学、初中、高中的题
2). 来源:教材、习题集、试卷、考研真题、课程教辅;
3). 数据量:2-50w
4). 以大学学科为牵引,要求覆盖以下具体学科,分为三个优先级:优先级详情见需求文档2
b. 视觉 Puzzle 类多模态题库QA数据
1). 题目要求:Puzzle 类数据应为以图像结构规律为核心的封闭式视觉推理题。题目需通过对图中子图、图元、布局、对称、旋转、映射、组合、计数、路径或空间关系的分析,推导出唯一可验证答案。题目不得依赖外部背景知识、主观审美判断或开放式解释。
2). 图像要求:Puzzle 类图像应以矩阵、图形序列、抽象几何结构、拼接结构、路径结构、旋转镜像结构、折叠展开结构等为主。图像需具备清晰、可分辨、结构关系明确、规律可验证等特征,不接受低清扫描图、模糊截图、主观解释空间过大的伪规律图。
3). COT质量要求:Puzzle 类题目的解析必须包含完整、可复核的推理链,至少包括:图像结构观察、规律归纳、候选项对比、答案确定四个阶段。解析不得跳步,不得仅给出结论,不得使用“根据常见规律可知”等泛化表述替代实际分析。
4). 来源:Puzzle 类数据的可接受来源包括但不限于:公务员考试图形推理题、行政职业能力测验图形推理题、职业能力测试中的非言语推理题、智力训练教材、逻辑思维训练题集、空间想象与图形规律训练题集、合法授权的视觉 Puzzle / Brain Teaser / Logic Puzzle 题库等。不接受来源不明、无法授权、无唯一答案、仅具娱乐性质且缺乏标准解析的数据。
5). 题型覆盖范围要求:数字矩阵规律题、图形矩阵规律题、抽象图形推理题、图形分类与归类题、图形序列延续题、路径与迷宫推理题、折纸/折叠/展开题、空间旋转与镜像题、立体体块对应题、拼图与部件组合题、对称/轴对称/中心对称推理题、节点/线段/连通结构规律题、公务员图形推理类题、职业能力测试中的非言语推理图题、智力测验中的视觉规律题、教辅中的图形智力题、逻辑图题;
6). 数据量: 2-50w
c. 纸质资料实拍图 QA 数据
1). 拍摄对象优先是纸质书本、试卷、习题册、教材页中的多模态题;次优先是拍摄手机/平板/电脑屏幕等电子设备
2). 实拍图必须清晰,不能模糊
3). QA要求(问题): 实拍图如果只包含一道题,这道题必须含有视觉图;如果包含多道题,至少一道题含有视觉图,其余可以是纯文本题目;题目难度可以是k12中的数理化生也可以是大学理工科。
4). QA要求(答案): 实拍图中的QA对应的答案解析,需要以json文件中的文本方式给出,答案不能是拍照形式的图片
5). 数据量:1-50w
d. 专业图像数据
1). 仅需要高质量图像数据,图格式为:JPG / JPEG / PNG;图片必须清晰可读,不接受黑白低质图、严重压缩图、无法辨识图文的图片。
2). 图源为大学级别的教材教辅、讲义、试卷、习题集;不能是来自网页、论文(包括各种学位论文、arxiv论文、期刊论文等)、读物、报告、科普文章、专利;此外,图源需要覆盖三类图像
第一类是:工程大类学科专业图像,包括:工程制图、结构图、受力图、梁图、桁架图、热工流程图、电路图、控制框图、波形图、频谱图、热力循环图、换热器图、管路图、压焓图、温熵图
第二类是:大学级别化学学科专业,包括:结构式、投影式、反应机理图、光谱图、标准曲线、实验装置图
第三类是:视觉谜题图形推理图,包括:数字矩阵图、图形变换、逻辑拼图、空间旋转、表格规律、矩阵规律图、抽象几何图形推理图、旋转 / 镜像 / 对称图、折叠 / 展开 / 立体网格图、路径/迷宫 / 连通 / 拓扑关系图、拼接 / 组合 / 镶嵌结构图、节点/线段/连通结构图
3). 数据量:1-50w
3.数据清单要求
a、要求能够提供可供采购的图片数据的“统计清单”,将根据“统计清单”筛选确定采购标的;且采购标的将作为后续验收依据;
b、正式交付数据如果与采购标的一致,可直接随内容一起交付一份采购标的与文件存储路径映射关系表;如不一致,需要将不一致的内容清单提供给甲方验收小组确认,确认后刷新交付清单,再按刷新后的清单进行数据交付(包括文件存储路径映射关系表)。
4.验收标准和合规要求详见需求文档2
5.工期要求:详见需求文档2
三、需求3:多模态图片OCR数据集
1.采购需求
本次采购需求主要为多模态图片OCR数据集,采购需求量是100000组
2.数据格式要求
JPG/JPEG/PNG
3.数据清单要求
a、要求能够提供可供采购的图片数据的“统计清单”,将根据“统计清单”筛选确定采购标的;且采购标的将作为后续验收依据;
b、正式交付数据如果与采购标的一致,可直接随内容一起交付一份采购标的与文件存储路径映射关系表;如不一致,需要将不一致的内容清单提供给甲方验收小组确认,确认后刷新交付清单,再按刷新后的清单进行数据交付(包括文件存储路径映射关系表)。
4.数据交付要求
数据交付时,要求将数据文件拆分成不超过5Gb小文件夹,并对每个小文件夹采用“fastest”方式压缩,格式为zip。
5.验收标准和合规要求详见需求文档3
6.工期要求:详见需求文档3
有资源的服务商可以直接报名,报名链接:https://test.baidu.com/collection/channelInquiry/detail/iId/1047,报名的服务商进群沟通:13244042



