在大数据背景下,新技术能够帮助收集人们生活中产生的各类数据,存储技术的发展和存储设备成本的降低使得对大规模数据的保存更易于实现。但随着数据不断积累、数据规模的几何增长,数据和信息的分析被提升到前所未有的高度,情报研究和情报分析工作迎来了重要的发展契机。在大数据背景下,对情报分析的需求不再单一趋向其中的某一固定分析模式,而是要自主自由分析,因此与新时期警务需求不相适应的问题也日益凸显。
主要体现在以下方面:
海量数据间关联碰撞分析困难为了保障社会的完全稳定,公安部门需要对重点关注对象的行为轨迹以及社交轨迹进行关联碰撞分析,如同租、同住、同行等相关人员进行精准排查,精确打击。经常需要对不同资源进行几亿、几十亿的比对碰撞,然而受限于传统技术,此类任务无法及时落地。
功能固化,局限情报分析师思维传统定制开发的应用系统功能固定,适用的情报分析场景非常有限,束缚了公安情报人员的手脚,局限了情报分析人员思维。
临时、紧急、需求不确定的统计分析困难上级主管部门和领导经常下达临时、紧急、需求又不确定的统计分析任务,现有业务系统无法满足要求。如:“打非治违”行动、5 类重点交通违法行为数据分析、重点车辆运行轨迹分析等。
系统使用门槛高,民警无法灵活使用面对大量临时分析任务时,由于缺乏灵活、易用能应付大多数情报分析场景的分析工具等原因,使普通干警不能独立自主进行情报分析任务,往往都需要通过底层数据库协助进行分析。业务部门面对大量的临时任务时通常请技术服务公司协助,但是服务公司有技术能力但不懂业务,公安干警花费大量时间与技术服务公司技术工程师反复沟通、任务接力,从后台底层数据库计算取得分析结果,业务响应速度很慢。
依托公安现有数据资源,打造一款简单、灵活、精准、高效、自主、实用的公安数据快速查询、迭代分析及模型生产工具,高效开展公安情报信息的即席查询、自动分析,全面提升公安业务信息应用工作效率。主要实现应用如下:
(1)在保障信息安全的情况下,实现全量数据共享、应用。
(2)提升数据理解性,使普通干警可以理解数据。
(3)降低情报分析技术门槛,使民警也能玩转情报分析,充分实现民警的创造力。
(4)实现数据自由组合分析,覆盖大多数分析需求。
(5)数据分析性能,实现百亿数据精确查询秒级响应,模糊查询数秒,简单分析秒级响应,复杂分析数分钟响应。
系统提供了基于数据表级别的包括资源定义、元数据管理(包括:展示名称、字段类型等)、 资源分类、 资源编目等多项管理功能。
资源定义系统的主要功能包括主题管理、表信息管理, 通过与业务的对接建立资源索引库。对于核心元数据, 将各元数据都设计在同一张表中, 每个元数据都对应一个数据列,扩展元数据放在一个公用的表中,每个元数据对应一条记录,便于扩展。
系统提供一套, 简洁、高效的一站式数据查询筛选方法, 让不了解数据来源的民警能像网上购物一样轻松筛选想要的数据。
数据筛选过程像淘宝一样, 仅提供一个简洁的关键词搜索界面环境, 民警只需要简单输入自己要搜索的关键词组合, 如: “逃犯”, “车牌号”、 “新疆人”,系统自动通过一个或者多个属性, 在多种业务系统数据间的范围内, 搜寻出与之间联系的各种其他线索或数据信息。
数据分析系统通过五步法:生思路、 找资源、 定条件、 碰数据、 得结果, 轻松实现数据的建模。 并将数据建模的过程以流程图的方式直观的呈现建模思路,保持思路清晰不中断,同时支持一键导出建模结果集。系统简单易用, 没有技术背景的普通民警也可以玩转情报分析系统。
提供拖拽的方式, 用户可选择系统的任意资源或者导入外部数据资源作为建模的源数据。
系统提供多种关联组件, 主要有内连接、左连接、左排除、去重合并等,用户可选择任意两个资源进行关联碰撞。
系统支持配置一个或多个关联条件, 灵活配置关联字段的操作符, 包括:=、 ><、 >=、 <=、 !=等。并支持用户灵活的设置碰撞结果集的列信息。
支持对数据进行聚合运算, 可对数据进行分组、 全表进行计数、 求最大值、 最小值、 求和、 求均值、 重复等操作, 轻松快速的实现海量数据的统计运算。
提供新增字段的功能, 用户可通过简单点选的操作即可实现数据处理,也可手写复杂的 SQL 进行数据处理。
支持一键导出分析结果,支持导入外部数据进行建模分析。
用户在实际分析过程中, 通过创建不同的分析模型来满足现实中人 分析工作需要,不同的思维、经验, 所制定的分析模型产生的效果也会截然不同。秉着知识共享、快速分析的应用原则, 将应用工厂打造成为知识智囊大平台。用户可将自己创建的分析模型保存为应用功能, 通过一键发布分享, 实现激战法的普及与分享。不同的民警,在权限范围内, 可在应用工厂实现分析模型的快速使用。
不仅是一个可支持对任意资源进行数据处理、统计、比对碰撞的分析工具, 更是一个模型生产工具, 可根据需求生产出各种情报分析功能模块, 随着应用的深入, 应用将越来越丰富。
(1)通过巧妙的数据权限管理设计, 实现数据可用而不可见, 用户在无法获得完整基础数据的情况下依然可以利用完成数据做自由灵活的分析获得分析结论, 实现了信息安全和信息共享兼得。
(2) 突破传统系统功能固化的瓶颈, 灵活适用于各种实战应用场景,工具型的数据应用系统, 该系统的任意信息用户都可以自定义设置, 如支持数据源自定义、 筛选方式自定义、 筛选条件自定义、 建模自定义,发布模型自定义等。突破传统系统只能按系统研发阶段, 预先定制好的条件、方式等进行数据的分析和应用的局限性。系统通过自由组合的分析模型, 灵活适用于 90%以上的实战应用场景, 可以大大减少定制性功能开发成本的投入。
(3) 提供“傻瓜式”的数据筛选和图形化、直观的数据建模过程, 降低情报分析门槛。使一线民警都能自主完成情报分析, 摆脱对技术工程师的依赖, 提升业务响应效率。
(4) 能够轻松实现民警的所思所想,并支持用户将自己创建的模型发布分享,各级情报分析人员均可根据权限使用, 实现情报分析模型分享与沉淀。
基于高性能数据库引擎开发,根据数据和应用需要自主快速实现数据分析和模块开发的一个数据应用系统。只要用户想得到的需求,就可以做得到。在公安业务常见的业务模型很多,典型场景如下:
(1) 人员轨迹分析,根据警情实战需要。 以梳理出来的本地及周边高危前科人员、暂住本地的高危区域前科人员为重点,针对不同类别关注人员分别设置不同异常行为分析模型,并通过智慧研判桌面消息接口自动报警提示给管控民警和相关处置单位,以便于有重点、有针对性地及时开展人工研判, 提高基层公安关注人员动态管控工作成。
(2) 活动异常类人员分析服务。基于大数据资源平台整合的海量、多样、复杂的信息数据, 分析筛选出活动异常的重点人员和价值较高的二次研判情报线索, 提供人员轨迹、车辆轨迹、通讯轨迹等信息的关联整合和综合利用,指导一线民警开展各类人员的动态管控工作、 提高了实战应用效率。
(3) 案事件团伙分析服务。案事件团伙分析可从涉案人员所属案件找到案件关联信息,进一步分析案件的其他涉案人员、 通过深挖案件与案件、 案件与人员、 人员与人员之间的关系,直观展现可能的团伙成员, 分析人员与犯罪团伙的可能关系。