本数据集由申请人独立设计仿真实验生成，覆盖模型档位（precision/balanced/efficient/ultra_light）、并发量（50/200/500/1000）、上下文长度（短/中/长/超长）、降级状态（开/关）四类核心变量，共128组配置×12次重复=1536条实验观测。经数据清洗、统计聚合及词元效用评分标注等实质性加工，形成面向大模型推理词元级性能评估的结构化基准数据集，可作为词元定价、模型档位选型及推理降级策略验证的参考基准。

1.加工工具:Python3.13自带的标准功能模块(random/math/csv/os/time/datetime),不需要另外安装任何外部软件包。 2.算法模型:词元时延、排队放大、上下文长度、降级保护、输出质量、单位成本、Little定律吞吐量、加权归一化词元效用评分等8个子模型。 3.加工步骤:蒙特卡洛仿真生成原始词元调用日志(128组×12次×3000请求)→清洗(剔除<1ms及>180s)→P50/P95/P99词元时延聚合→吞吐量与质量、成本计算→词元效用评分赋值→输出13列CSV。 4.新数据:经聚合加工形成含词元时延分位/吞吐量/质量/成本/词元效用评分的结构化基准数据集。创新字段token_utility_score(0-1)位于CSV第13列,最后一步加权归一化生成,评估逻辑为申请人专有技术成果。 5.标准:GB/T36344-2018、GB/T25000.51-2016。

1. 词元定价与计费：为按词元(token)计费的LLM推理服务提供成本-质量-时延平衡的效用基准参考； 2. 模型档位选型：为企业按业务场景选择高精度/均衡/轻量/极轻量模型档位提供客观性能基准参考； 3. 策略标定：为推理网关在负载高峰期的降级保护阈值设定提供数据支撑； 4. 模型训练：作为机器学习样本，用于词元级性能预测、调度优化等领域的算法模型训练。

大模型推理词元效用评估数据集-展示样例(3条): 【样例1】EXP0001|模型precision|并发50|上下文short|降级off|轮次1|P50=45.2ms|P95=72.7ms|P99=89.9ms|词元吞吐857.9/s|输出质量0.960|单位成本0.03500元|效用0.77971 【样例2】EXP0601|模型balanced|并发500|上下文medium|降级off|轮次1|P50=34.3ms|P95=55.0ms|P99=64.9ms|词元吞吐13445.9/s|输出质量0.872|单位成本0.01200元|效用0.88782 【样例3】EXP1525|模型ultra_light|并发1000|上下文ultra|降级on|轮次1|P50=84.0ms|P95=133.7ms|P99=162.1ms|词元吞吐11642.5/s|输出质量0.474|单位成本0.00066元|效用0.84535 字段同《数据结构说明》,共13项。 附件下载

experiment_id(String):实验ID EXP0001-1536 model_tier(String):模型档位 concurrency(Int):并发50/200/500/1000 context_length(String):上下文short/medium/long/ultra degradation_status(String):降级on/off run_number(Int):序号1-12 p50/p95/p99_token_latency_ms(Decimal):P50/P95/P99词元时延ms tokens_per_second(Decimal):词元吞吐/s output_quality_score(Decimal):质量评分0-1 cost_per_1k_tokens(Decimal):元/千词元 token_utility_score(Decimal):词元效用0-1 样例:EXP0001,precision,50,short,off,1,45.2,72.7,89.9,857.9,0.960,0.03500,0.77971