数据信息
数据简介
本数据集面向大语言模型幻觉治理需求,基于“动静知识分离”标注范式构建,涵盖静态知识(如历史事件、科学定理)与动态知识(如实时新闻、市场数据),支撑模型幻觉检测、评估与治理全流程。
数据处理采用自研知识属性识别平台,结合语义分析与时态特征算法,实现对原始查询的知识类型分类、置信度评分与幻觉风险标注。流程遵循GB/T 25000系列标准,执行“专家标注+模型辅助+多轮校验”质控机制,标注一致性Kappa系数≥0.85。所有数据经严格去标识化处理,删除直接标识符,对地理位置与时间进行模糊化与偏移脱敏,符合《GB/T 35273-2020》等安全规范。
数据集适用于大模型能力评估、幻觉检测系统训练、RAG系统触发优化,以及金融、医疗、法律等高可信要求领域的AI部署。数据来源于我司自行生产,依托内部平台构建题目模板与对抗样本,经专家核验与多轮复核形成完整证据链,权属清晰、质量可控。
覆盖20余个垂直领域,包含10万+标注样本,支持分类、回归等建模任务,为大模型研发与治理提供高质量、合规的数据基础。
数据处理规则说明
本数据集采用动静知识分离的标注范式进行加工处理。使用自研的知识属性识别标注平台,结合语义分析模型和时态特征提取算法,对原始query进行知识类型分类(静态/动态)、置信度评分和幻觉风险等级标注。标注流程遵循GB/T 25000.51-2016. GB/T 25000《系统与软件工程系统与软件质量要求和评价(SQuaRE)》中关于数据质量的相关要求。
数据加工采用“专家标注+模型辅助+多轮校验”的三层质控机制,标注一致性Kappa系数≥0.85。针对可能涉及的用户查询信息,严格执行去标识化处理:删除姓名、身份证号、手机号等直接标识符;对地理位置进行模糊化处理(精确到地级市);对时间戳进行偏移脱敏(±7天随机偏移),确保符合《GB/T 35273-2020个人信息安全规范》和GB/T 37988-2019《信息安全技术数据安全能力成熟度模型》标准。
应用场景描述
本数据集适用于大语言模型幻觉检测、评估与治理的全流程场景,主要解决以下核心问题:
1. 模型能力评估场景:为大模型开发者提供标准化测试基准,评估模型对静态知识(历史事件、科学定理、文化常识等)和动态知识(实时新闻、市场数据、时效性信息等)的区分能力及响应准确性,支持模型迭代优化。
2. 幻觉检测系统训练:为幻觉检测分类器、置信度评估模块、知识类型识别器等组件提供训练样本,提升系统对潜在幻觉风险的预判能力。
3. RAG系统触发优化:帮助检索增强生成系统建立精准的外部知识调用决策机制,避免静态知识的冗余检索和动态知识的遗漏查询。
4. 行业应用部署:适用于金融、医疗、法律、教育等高风险领域的大模型可信度保障,为企业级AI应用提供安全合规的质量检测依据。
数据集涵盖20+垂直领域、10万+标注样本,支持分类、回归、排序等多种建模任务。
样例数据
sample_id query_text knowledge_type domain_category temporal_marker temporal_keywords hallucination_risk confidence_score requires_external_retrieval ground_truth_answer evidence_chain annotation_source verification_status difficulty_level create_time annotation_version
HLD_2025_000001 粤剧的四大行当是什么 static 文化艺术 FALSE [] low 0.95 FALSE 生、旦、净、丑 [{"source":"戏曲艺术百科","reliability":"high"}] expert verified 2 2025-09-30T10:00:00Z v1.2
HLD_2025_000002 最近有哪些粤剧表演活动 dynamic 文化艺术 TRUE ["最近"] high 0.35 TRUE 需实时
附件下载
数据结构样例
sample_id query_text knowledge_type domain_category temporal_marker temporal_keywords hallucination_risk confidence_score requires_external_retrieval ground_truth_answer evidence_chain annotation_source verification_status difficulty_level create_time annotation_version
HLD_2025_000001 粤剧的四大行当是什么 static 文化艺术 FALSE [] low 0.95 FALSE 生、旦、净、丑 [{"source":"戏曲艺术百科","reliability":"high"}] expert verified 2 2025-09-30T10:00:00Z v1.2