移动网络深度挖掘系统
DEEPLAN

产品简介

本产品根植我国拥有自主知识产权的4G TD D LTE标准,立足国内通信运营商现状与需求,借鉴美国FDD LTE网络大数据技术成功经验,自主研发了兼容国际标准的移动通信大数据深度挖掘系统。

本产品将作为一套“全网络,全制式”系统支持 主流2/3/4G和兼容未来5G 标准,并且作为一套“网络中立”的系统,无缝对接主流电信设备厂商,包括华为、中兴、爱立信、阿尔卡特朗讯等。

团队简介

大数据团队拥有着美国和本土双重背景,在大数据平台架构设计、数据挖掘、算法建模和运营商市场开拓方面有着经验丰富的资深专家担纲。团队成员包括多位享誉海内外的杰出科学家,国际顶尖的电信大数据专家,以及在算法上有深厚造诣的留美博士。

华苏大数据平台

华苏大数据平台系统主要负责海量数据的抽取(Extraction), 转换(Transformation), 加载( Loading),承载着多维度复杂的TB级数据梳理的压力。DEEPLAN-ETL主要完成采集无线网络话务统计STS、核心网Gb口、IuPS口、S1口、S6a口、S11口等通信信令数据包、各网元通信状态及网元拓扑数据。经过数据抽取,统一格式转换,关系数据直接加载到中央数据仓库(PostgreSQL数据库集群),复杂关系数据加载到Hadoop集群,等待算法引擎进一步利用Hadoop中MapReduce框架的分布式计算处理分类。ETL系统中的数据抽取、转换、加载工作统一由基于Qutarz框架的调度模块完成。

本系统环境以业界先进的R语言+Hadoop架构+J2EE平台进行搭建,采用敏捷实践方式推进项目进展;其中R是业界及学术界最主流行的大数据挖掘的算法开发语言,本系统所有大数据核心算法都是通过R实现;同时Hadoop是最先进的海量数据分布式处理框架,以Hadoop中MapReduce架构整合核心算法,进行TB级大数据分布式分析和数据挖掘;J2EE是企业级应用开发标准平台,利用J2EE完成针对多系统多厂商跨平台的数据抽取转换加载的ETL系统,以及大数据图表化、地理化的多视角呈现的大数据展示平台;在中央数据仓库建设方面,具有高范式特征的数据利用PostgreSQL数据库集群管理,低范式特征数据或非结构化数据采用基于Hadoop的HBase或Hive的NoSQL数据库管理,非结构化数据经过大数据算法引擎处理后,梳理出有价值数据最终进入PostgreSQL 数据库集群,进而供大数据展示平台进行展示。

本系统中基于大数据挖掘技术对海量数据进行处理的主要技术特点和性能指标:

  1. 系统存储能力:支持TB级数据规模;支持结构与非结构化数据存储;支持传统数据库与基于Hadoop的大数据平台共存;
  2. 系统回应能力:ETL(Extraction, Transformation, Loading)数据平台加载地市级运营商规模的一周话务统计历史数据不超过45分钟,每次算法训练收敛小于10s,单CELL预测小于1s;
  3. 系统可靠性:本系统基于Hadoop生态系统搭建而成,并以离散和低耦合的方式装载、分配各算法运算单元。本项目采用了可靠的分布式部署方案,在保证运算能力的前提下,也极大的提升了系统的可靠性及健壮度;
  4. 网络兼容性:支持第四代移动通信网络 4G LTE系统所有KPI和话务统计指标,并具备向下(2G、3G)向上(5G)延伸的能力;
  5. 算法模型准确度:大数据算法对各个KPI指标的分析与预测结果保证有至少95%或以上的准确率;
  6. 算法模型健壮度:即模型可推广到其他网络的健壮度,保证模型准确率推广到其他网络时误差率抬升不超过5%;
  7. 算法模型动态性:动态模型训练:采用持续改进的机器学习技术,利用最新的网络数据持续改进分析结果的准确率和稳定性,保证更新的模型基于95%的准确率的基础上得到持续提升;
  8. 算法模型扩展性:保证系统内大数据算法可以兼容多厂家多系统,如爱立信、华为、中兴、阿尔卡特等主流厂家的GSM 、TD-SCDMAWCDMA 、LTE系统。

移动网络深度挖掘系统

移动网络大数据深度挖掘系统(简称DEEPLAN)基于大数据的网络性能分析及优化 ,是一套集无线性能评估、网络资源管理、网络故障 溯源和用户行为分析四大主题的综合解决方案。本系统是基于海量数据挖据和机器学习算法研发而成,兼容于GSM、CDMA 、WCDMA、TD-SCDMA、LTE等技术网络。整套方案可以多维度全方位帮助移动运营商实现网络精确规划和维护 ,用户感知准确评估,市场营销精确定位。其应用领域包括通信网络规划建设、网络优化、市场营销等。

四大业务主题:

·无线性能评估

无线业务评无线业务评无线业务评无线业务评无线业务评无线业务评无线业务评无线业务评无线业务评无线业务评无线业务评无线业务评无线业务评无线业务评无线业务评无线业务评无线业务评无线业务评

无线业务评无线业务评无线业务评

·网络资源管理

2015年,三大运营商都做出了精细化管理工作的部署,移动大手笔削减网络维护的成本,以往粗放式管理的需求在也不能适应时代发展 的需要。精确维护、精确优化的运维理念在各个部门不断强化。以往传统以仿真为主的网络规划,将会慢慢淡出历史舞台,传统仿真技术在高纬数据处理和海量数据分析面前已经力不从心,所表现出来的弊端也愈加明显,其中的热投冷用案例不胜枚举。

我们的大数据平台提供海量数据运算能力,采用了全量样本数据,结合机器学习算法,在网络深度分析、热区提取、网络资源预测等方面已经取得优异的成绩。

·网络故障溯源

无线网络故障不断,小到一次掉话,大到基站闪断,甚至BSC瘫痪,更有甚者是隐性故障无法呈现。传统故障的排查以DT测试+人工信令分析为主,就其显性故障处理,投入了大量人力物力,有的是无功而返,造成巨大浪费,而且网络故障产生速度已经大大超出人力处理的能力,大量故障产生和不能及时处理,必将对客户的感知体验带来了负面的影响,时常造成10086用户投诉。

我们的大数据平台通过搜集全量的网络配置数据、信令数据、网络性能指标,可以快速精确定位网络故障,并采用决策森林机器挖掘算法,真正发掘隐性和显性故障的根源,可以快速及时处理问题,提高响应速度,进而提升用户体验。

·用户行为分析

运营商日常运维中产生了大量的数据,这些数据记录了用户的行为信息。DEEPLAN系统从海量的数据中自动、智能的抽取出隐藏于其中的知识,并基于原始数据使用挖掘、收集、预处理,并基于R算法对用户行为进行分析,发现新模式,为运营商创造新的价值。

CNZZ统计
百度商桥

百度统计