广东省数据知识产权存证登记平台
登记信息
大模型幻觉检测评估高质量数据集 已登记
  • 数据申请号:

    粤2025101402114

  • 数据登记号:

    SZ2025120017375.2

  • 关键词:

    大模型幻觉检测评估;高质量大模型幻觉评估;大模型能力评估;大模型幻觉检测系统训练;大模型置信度评分

  • 登记时间:

    2025-11-08

  • 平台证书编号:

    20251044000017375

  • 服务机构:

    暂无

  • 登记主体:

    广东智媒云图科技股份有限公司

  • 法院编号:

    广州互联网法院 - d6200e77b8b5cd26b464d3ef1dcff517ef4fcd06368299442340f2ffcf57688a-749fc1a4;legalxchain

区块链信息
  • 上链时间:

    2025-10-31

  • 所属区块链:

    司法联盟链·广东省知识产权保护中心

  • 证据指纹:

    431e8be81c295b7b6b3ac768b2cf703b06b93219c3f6f7c854d73349373d0f33d41a06f7d591bcfaa83a35856d6fa3a1443fac4571a94206c8fe2b34a045f446

  • 区块链存证证书编号:

    LXM-GDIPI-23202510315537776277

数据信息
数据简介
本数据集面向大语言模型幻觉治理需求,基于“动静知识分离”标注范式构建,涵盖静态知识(如历史事件、科学定理)与动态知识(如实时新闻、市场数据),支撑模型幻觉检测、评估与治理全流程。 数据处理采用自研知识属性识别平台,结合语义分析与时态特征算法,实现对原始查询的知识类型分类、置信度评分与幻觉风险标注。流程遵循GB/T 25000系列标准,执行“专家标注+模型辅助+多轮校验”质控机制,标注一致性Kappa系数≥0.85。所有数据经严格去标识化处理,删除直接标识符,对地理位置与时间进行模糊化与偏移脱敏,符合《GB/T 35273-2020》等安全规范。 数据集适用于大模型能力评估、幻觉检测系统训练、RAG系统触发优化,以及金融、医疗、法律等高可信要求领域的AI部署。数据来源于我司自行生产,依托内部平台构建题目模板与对抗样本,经专家核验与多轮复核形成完整证据链,权属清晰、质量可控。 覆盖20余个垂直领域,包含10万+标注样本,支持分类、回归等建模任务,为大模型研发与治理提供高质量、合规的数据基础。
  • 数据来源:

    自行产生

  • 数据所属行业分类:

    I65 软件和信息技术服务业

数据处理规则说明
本数据集采用动静知识分离的标注范式进行加工处理。使用自研的知识属性识别标注平台,结合语义分析模型和时态特征提取算法,对原始query进行知识类型分类(静态/动态)、置信度评分和幻觉风险等级标注。标注流程遵循GB/T 25000.51-2016. GB/T 25000《系统与软件工程系统与软件质量要求和评价(SQuaRE)》中关于数据质量的相关要求。 数据加工采用“专家标注+模型辅助+多轮校验”的三层质控机制,标注一致性Kappa系数≥0.85。针对可能涉及的用户查询信息,严格执行去标识化处理:删除姓名、身份证号、手机号等直接标识符;对地理位置进行模糊化处理(精确到地级市);对时间戳进行偏移脱敏(±7天随机偏移),确保符合《GB/T 35273-2020个人信息安全规范》和GB/T 37988-2019《信息安全技术数据安全能力成熟度模型》标准。
应用场景描述
本数据集适用于大语言模型幻觉检测、评估与治理的全流程场景,主要解决以下核心问题: 1. 模型能力评估场景:为大模型开发者提供标准化测试基准,评估模型对静态知识(历史事件、科学定理、文化常识等)和动态知识(实时新闻、市场数据、时效性信息等)的区分能力及响应准确性,支持模型迭代优化。 2. 幻觉检测系统训练:为幻觉检测分类器、置信度评估模块、知识类型识别器等组件提供训练样本,提升系统对潜在幻觉风险的预判能力。 3. RAG系统触发优化:帮助检索增强生成系统建立精准的外部知识调用决策机制,避免静态知识的冗余检索和动态知识的遗漏查询。 4. 行业应用部署:适用于金融、医疗、法律、教育等高风险领域的大模型可信度保障,为企业级AI应用提供安全合规的质量检测依据。 数据集涵盖20+垂直领域、10万+标注样本,支持分类、回归、排序等多种建模任务。
  • 数据格式:

    xlsx

  • 数据更新频率:

    月更新

  • 数据量:

    1050

样例数据
sample_id query_text knowledge_type domain_category temporal_marker temporal_keywords hallucination_risk confidence_score requires_external_retrieval ground_truth_answer evidence_chain annotation_source verification_status difficulty_level create_time annotation_version HLD_2025_000001 粤剧的四大行当是什么 static 文化艺术 FALSE [] low 0.95 FALSE 生、旦、净、丑 [{"source":"戏曲艺术百科","reliability":"high"}] expert verified 2 2025-09-30T10:00:00Z v1.2 HLD_2025_000002 最近有哪些粤剧表演活动 dynamic 文化艺术 TRUE ["最近"] high 0.35 TRUE 需实时 附件下载
数据结构样例
sample_id query_text knowledge_type domain_category temporal_marker temporal_keywords hallucination_risk confidence_score requires_external_retrieval ground_truth_answer evidence_chain annotation_source verification_status difficulty_level create_time annotation_version HLD_2025_000001 粤剧的四大行当是什么 static 文化艺术 FALSE [] low 0.95 FALSE 生、旦、净、丑 [{"source":"戏曲艺术百科","reliability":"high"}] expert verified 2 2025-09-30T10:00:00Z v1.2
数据状态
  • 2025-11-08

    数据知识产权登记完成