数据信息
数据简介
对数字化系统运行时的业务请求和服务器资源状况进行采集。记录不同业务操作(如实时数据查询、故障告警推送等对应不同请求),对应不同请求URL下的性能指标,以及服务器资源配置和使用情况,结合特定预测条件,为系统并发性能预测提供数据支撑。
用于预测数字化系统在不同业务负载和服务器资源配置下的并发处理能力。帮助运维人员提前规划资源,保障系统稳定运行,如根据预测结果提前调整服务器CPU、内存资源分配,确保调度指令及时准确下达。
数据处理规则说明
1、数据清洗:针对大规模流量数据,以自动化批处理开展清洗,筛选业务匹配数据,剔除错误、异常及无效冗余信息,补充缺失测试场景数据以保障数据集完整且具业务代表性;后续同步完成格式标准化转换与CPU占用率、网络吞吐量等核心特征聚合,提升处理效率与精度;
2、数据处理:解析JSON文件,将原始性能数据(时间戳、URL、响应时间、资源等)映射为TestDTO对象。基于时间窗口聚合计算关键指标(请求、成功率、平均响应时间、资源等),通过Univocity库将结构化结果输出为包含时序指标和服务器性能数据;
3、数据分析:基于处理后的数据,在测试环境中对平台、数据、存储等各类服务器展开分析。从业务维度聚合响应时间、QPS、页面加载时间、业务成功率及服务器资源使用情况;结合服务器CPU总核数、内存容量等性能指标,预测负载场景下的业务运行表现(含请求速率、平均响应时间等),为系统预测报告奠定数据基础;
4、数据输出:最终数据集覆盖CPU高负载、内存泄漏等故障场景,包含多维度流量文件。可精准复现业务高压力下的性能波动,数据合规易用,为AI故障预测模型训练、系统性能测试提供高质量数据支撑。
应用场景描述
数字化系统性能预测数据集深度融合实时监控(边缘AI分析)、预测性维护(LSTM模型)及多租户资源优化(成本模型)三大核心能力,适配工业制造、能源电力、智能交通、医疗设备运维、航空航天、云计算服务等多领域,为企业设备管理、资源分配提供全方位数据支撑。
在实际应用中,其可解决多行业共性痛点:一方面,设备管理上,突破人工巡检滞后问题,实时采集数据并借 AI 实现异常毫秒级响应,LSTM 模型精准预测故障,提升多变量预测性能,避免突发故障与过度维护损失;另一方面,资源分配上,成本模型动态调配置,化解资源过剩浪费与不足矛盾,降低系统运行风险。
从价值层面来看,该数据集不仅能为企业带来显著经济收益,包括减少生产停工损失、降低设备维修与运维成本(部分企业运维成本降低20%-30%、设备维修成本降低15%-25%)、延长高价值设备使用寿命、提高资源利用率(如云计算服务商资源利用率每提高10%可增收数千万元至上亿元),还能通过约30%的预警准确度提升,增强企业风险防控能力。此外,其结合AIoT技术实现的业务系统资源弹性调度,为各大行业数智化升级提供可靠数据支撑,助力企业提升核心竞争力,实现可持续发展。
样例数据
Time(时间):2025-2-12 0:00:00,URL(业务):/database,request_per_second(业务请求数/秒):47.004,HTTP_RESPONSE(Avg)(业务平均响应时间):1736.867,QPS(业务请求成功数/秒):47.004,Success_rate(业务成功率):1,PAGELOAD(Avg)(页面加载时间):653.357,host_cpu_core(服务器CPU总核数):4,host_mem_total(服务器内存数):4,host_disk_total(服务器磁盘总数):100,host_cpu(服务器CPU开销):100,load(主机5分钟内的系统平均负载):50.2352624359029,host_mem_usage(服务器内存使用率):39.997,host_disk(服务器磁盘使用率):27.1,host_wa(CPU处于空闲状态的时间百分比):5.073;
具体样例数据详见样例展示附件。
附件下载
数据结构样例
Time(时间)、URL(业务)、request_per_second(业务请求数/秒)、HTTP_RESPONSE(Avg)(业务平均响应时间)、QPS(业务请求成功数/秒)、Success_rate(业务成功率)、PAGELOAD(Avg)(页面加载时间)、host_cpu_core(服务器CPU总核数)、host_mem_total(服务器内存数)、host_disk_total(服务器磁盘总数)、host_cpu(服务器CPU开销)、load(主机5分钟内的系统平均负载)、host_mem_usage(服务器内存使用率)、host_disk(服务器磁盘使用率)、host_wa(CPU处于空闲状态的时间百分比);2025-2-12 0:00:00、/database、47.004、1736.867、47.004、1、653.357、4、4、100、100、50.2352624359029、39.997、27.1、27.1、5.073