炼数成金 门户 商业智能 迁移学习 查看内容

基于迁移学习的反欺诈方法研究

2018-4-28 14:10| 发布者: 炼数成金_小数| 查看: 15314| 评论: 0|原作者: DataVisor黄姐姐|来自: 金融科技实战

摘要: 迁移学习(Transfer learning),顾名思义,就是把已知学到的知识应用于理解未知事物上,这很符合我们的认知过程。举个最简单的例子,假设我们给朋友介绍一种新产品,就叫“奇里古刹币”(乱编个名字也是很费脑细胞 ...

网络 工具 模型 神经网络 案例

迁移学习(Transfer learning),顾名思义,就是把已知学到的知识应用于理解未知事物上,这很符合我们的认知过程。举个最简单的例子,假设我们给朋友介绍一种新产品,就叫“奇里古刹币”(乱编个名字也是很费脑细胞的),你很难讲解其中的逻辑。但你如果这么说:“类似于比特币,属于虚拟货币的一种,只不过仅限于购买牛奶”。你的朋友可能瞬间就理解了,“哦,原来如此”。

我们尝试分析一下你朋友大脑的运作:
第一步:把对比特币的认知直接转移(transfer)到了“奇里古刹币”

第二步:以此为基础,再加上限制条件“仅限于购买牛奶”

如此,便完成了迁移学习的过程。

事实上,迁移学习是每个数据分析师的必备技能,它不是一种算法模型,甚至称不上一种技术,只是一种方法论,或者说是一种模型设计思路。

迁移学习的基本概念
#定义#
对于两个相关场景A和B,A有大量的标签,B仅有少量标签或没有标签。迁移学习是指通过将对A学习的结果转移到B的建模中,以此提高B的建模效率。

#为什么要进行迁移学习#
建模人员都知道,有监督机器学习需要大量的标签数据,而为数据打标签十分耗时,而且通常需要大量人力参与,因此是一笔巨大的开销。对于一般有监督学习,我们通常会采用随机的方式初始化参数,再进行不断的迭代学习得到收敛的参数组合。我们可以这么理解,迁移学习实际上是特殊化的初始化流程,也就是,我们的初始化不是采用随机参数方式,而是将其他相关场景的训练结果拿来,作为这个模型的初始化。

迁移学习的主要优势
首先,迁移学习可以提高机器学习的效率。这显而易见,通过迁移学习,你可以不再通过随机的方式初始化参数,站在巨人的肩膀上learning,相比于从零开始的模型,必然已经赢在起跑线上了;

其次,迁移学习可以降低对训练数据的量级要求,尤其对于深度学习。试想,对于一个五层神经网络模型,功能是识别男女。那么,你拿一个识别人类的三层神经网络作为基础,进行迁移学习,那么,你只需要训练后两层即可,而无需从零开始。可想而知,这样的话,对于标签数据的数据量要求就少得多了;

 

迁移学习示意图
 
最后,迁移学习的适用性较强。迁移学习虽然不能应用在任意场合,但只要两个场景具有一点相关性,即可以使用迁移学习。例如,国内某公司,其团队开始主要做精准营销,对客户进行分群,目的是识别出其需求和鉴别购买力。后采用迁移学习进行欺诈识别,虽然场景不尽相同,捕捉到人群特征也不尽相同,但其在精准营销上训练的模型参数可以作为反欺诈模型的初始化,以此节约训练时间。同样,对于反欺诈业界所提倡的联防联控,除了共享黑名单数据库外,其另一个比较重要的应用就是迁移学习。事实上,国内某知名电商日前发布的关于骗保反欺诈产品,就是以其商城购买行为分析模型为基础构建的,这也是一种迁移学习。
 
总之,迁移学习并非一种技术,而是一种方法论。其根本目的就是“站在巨人的肩膀上”建模,而至于能否采用“迁移学习”,就要看你有没有找对这个“巨人”了。跟“巨人”的场景关联性越高,迁移学习的适用性就越好。而如果你胡乱找错人,那么可能会一不小心掉进大坑,反倒费时了。
 
迁移学习的三种类型
迁移学习的关键,用四个字概括,就是“找对巨人”,也就是需要找到不同场景之间的关联和共性(特征),本文就系统性地介绍一下迁移学习的几种方法。
 
首先,来看几个定义。
1. Domain:
包含两个component,一是向量空间X,一个是X的分布P(X)

2. Task:
给定一个特定的domain和label空间Y,对于domain里每一个xi,都可以预测出相应的yi。通常,如果两个task不同,那么其通常有不同的label空间,或者不同的条件分布P(Y|X)

3. Source domain:
如果把一个task A上的knowledge迁移到taskB上,那么就说task A对应的domain就是Source domain, P(XS)

4. Target domain:
如果把一个task A上的knowledge迁移到taskB上,那么就说task B对应的domain就是Target domain, P(XT)
 
下面,根据标签的情况,将迁移学习分为三种类型:


Vontear在其blog里有一个形象的说明,在此引用下其说明:
Transductive Learning:从彼个例到此个例,有点象英美法系,实际案例直接结合过往的判例进行判决。关注具体实践。

Inductive Learning:从多个个例归纳出普遍性,再演绎到个例,有点象大陆法系,先对过往的判例归纳总结出法律条文,再应用到实际案例进行判决。从有限的实际样本中,企图归纳出普遍真理,倾向形而上,往往会不由自主地成为教条。

而对于unsupervised learning,属于比较普遍的内容,在此不再赘述。

几种迁移学习的选择流程,如下图所示:

 
风控与反欺诈的应用场景
根据迁移的对象,可以将迁移学习分为四种类型,进一步展开就是风控与反欺诈的应用场景。以下,具体介绍一下几种常用的思路。

1、Inductive Transfer Learning + Instance-transfer
适用条件:Source Domain和Target Domain数据的特征(feature)和标签(label)完全相同。

处理方式:重新调整source domain的权重,应用于target domain。

举例:信用卡申请的申请表和小额贷款的申请表的申请字段相同,其他埋点信息也相同,且最终的结论都是【通过】和【拒绝】。那么,在两者的申请场景下,可以采用此种方法。

2、Inductive Transfer Learning + Feature-representation-transfer
适用条件:Task之间具有一定关联性,且包含共同的特征

处理方式:把每一个task作为输入,用task之间共同的feature来建模。解释一下,首先你要通过一些方法将source domain里无标签的数据做一个更高level的提炼,称为representation;然后要将target domain的数据也做一个类似的转换,即representation;这样,我们就可以用可以利用representation来作为建模,且使用与representation相关的标签了。(很像求最小公倍数的思路)

举例:这也是一种常用的思路。举一个最经典的例子,信用卡还款,有各种逾期行为,我们定义坏人的方式是认为M3&M3+;消费贷分期,也会有各种没有按时还款的行为,而这个定义是M2&M2+。看上去两个定义不同,但我们给这样一个新定义:坏人。此处,【坏人】就是一个共同的feature,也就是我们的定义representation。

3、Inductive Transfer Learning + Parameter-transfer
适用条件:Task之间具有一定关联性,且在某个独立模型中共用一些参数。

处理方式:提取共用的参数直接迁移即可,这种方式在多任务模型(Multiple tasks model)中应用比较广泛。

举例:前文中的关于识别男女和识别人类的多层神经网络的应用,就是一个非常典型的parameter-transfer的例子。

4、Inductive Transfer Learning +Relational-knowledge-transfer
适用条件:Source domain的内部关系和target domain的内部关系有相似性。什么意思呢?举个🌰:在学术领域和影视业就有如下相似的关系。


处理方式:将source domain学习到的MLN(Markov Logic Network)迁移到target domain中,输出一个针对target domain的新的MLN。

举例:这个可以用来分析新的团伙欺诈模式,例如信用卡申请和银行放贷的内外勾结、中介机构包装伪造信息等。
 
此外,Transductive Transfer Learning与Instance-transfer和Feature-representation-transfer相结合的应用与上述第一种和第二种类似。
 
对于Unsupervisedtransfer learning,通常应用于source domain有大量无标签数据,而target domain的数据量比较小且也是无标签的情况,采用的方式为Feature-representation-transfer方法。特别地,基于层次聚类方法论,采用parameter-transfer也可以大幅提高模型的运算效率。
 
至此,我们已经了解了比较主流的迁移学习方法。那么,我们还有最后一个问题:如何能够避免找错巨人而误入大坑(专业名词为negative transfer)呢?Sinno Jialin Pan提出过一个防止误入大坑的建议(黑色对号)。而基于笔者的实际项目经验,将调整后的表格修改如下(红色对号为笔者添加):
 
综上,Transfer Learning对于提高模型运算效率有十分重要的意义。然而,是否能够迁移,如何进行有效地迁移仍然是建模工程师重点关注的。对于已知欺诈,Transfer learning具有更好的适用性,而对于未知欺诈,若想使用transferlearning,通常还是需要配合一些背景调查以及一些标签和业务知识输入,否则,也较难适用。

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

鲜花

握手

雷人

路过

鸡蛋

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

热门文章

     

    GMT+8, 2018-10-17 02:48 , Processed in 0.153933 second(s), 22 queries .