加载中…
正文 字体大小:

读paper:AI2 Training a big data machine to defend

(2016-10-21 10:04:23)
标签:

风控机器学习

神经网络

异常检测

分类: 数据挖掘

读paper:AI2 Training a big data machine to defend

1.基本思想

基于大数据和业务分析师的专家经验,构建风控领域的端到端的主动机器学习平台;AI-square系统主要有四个特点:
(1)大数据行为分析系统;
(2)异常检测的集成学习;
(3)从安全业务分析获取反馈的闭环系统;
(4)有监督学习的机器学习组件;

2. 风控领域面临的挑战

(1) 黑样本标签数据较少;
(2)攻击方式不断变化,道高一尺,魔高一丈, 莫高一战,道高一尺;
(3)攻击案件分析耗时耗成本;
AI2 learns and automatically creates models that, when executed on new data, produce predictions as intelligent as those deduced by human
analysts.

3. 系统架构

读paper:AI2 <wbr>Training <wbr>a <wbr>big <wbr>data <wbr>machine <wbr>to <wbr>defend

(1)大数据行为分析
用户行为签名,behavioral signature,行为序列。该系统提供每天实时行为分析和跟踪。该系统涉及到的业务特征主要如下:
Counts, averages, and standard deviations: the number of successful logins over the last 24 hours.
Indicators (or boolean variables): whether at least one address
verification failed over the last 24 hours.
Relational features:: these features are calculated using
data at the intersection of two entities. 实体交叉特征
Temporal behaviors: these variables capture the time
elapsed between two or more events, and therefore must
be analyzed in chronological order.
Unique values:number of different locations from which a user has accessed the website over the last 24 hours.
聚集性特征
(2)异常检测方法
矩阵分解方法
神经网络方法
基于密度分析的方法
异常检测方法集成学习
(3)主动防控系统闭环
The algorithm has three phases–TRAINING, DEPLOYMENT and FEEDBACK COLLECTION/UPDATING–and cycles through these phases daily

4. 参考资料

AI2: Training a big data machine to defend
https://people.csail.mit.edu/kalyan/AI2_Paper.pdf
patternex
https://www.patternex.com/

借鉴之处:业务特征处理,异常检测算法,整体上和鄙人设计的风控神经网络架构类似,后面考虑将AI2的优点集成到风控神经网络架构之中。


0

阅读 评论 收藏 转载 喜欢 打印举报
已投稿到:
  • 评论加载中,请稍候...
发评论

    发评论

    以上网友发言只代表其个人观点,不代表新浪网的观点或立场。

      

    新浪BLOG意见反馈留言板 不良信息反馈 电话:4006900000 提示音后按1键(按当地市话标准计费) 欢迎批评指正

    新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

    新浪公司 版权所有