NLP从入门到放弃——处理威胁情报

0x00 前言:

事情源于之前不太认真的认真回答,见:知乎用户:NLP 在威胁情报中有哪些应用?,于是乎就有人私信问了,实际上对于这一部分我也是刚刚才开始接触,至于这个需求是怎么来的,实际上有两个原因,第一个原因是因为boss的强迫症:告警推送全都是要求用自然语言表达,第二个原因是因为威胁情报的分类问题,我们在捕获威胁情报的时候,共识是使用爬虫去爬取有对应消息的源(源这里实际上是经过筛选的,筛选的过程等以后有时间再说),这个时候问题就来了,国内的源要么消息滞后要么不提供RSS的接口(xx厂商为首),而国外的源相反,消息更新的很快,有RSS和邮件推送,甚至有些信息做到了json推送,这个时候另一个问题就来了,推送个英语过来的还好,这要是推送个思密达这种,没有语言功底的人还确实看不懂,所以这个时候想到了用NLP(自然语言处理)来解决情报处理的问题。


0x01 确定要收集的信息:

我们现在假设这样一个场景:老大让你收集一些关键组件的漏洞披露情况,如果有高风险的话,立马通过IM、邮件的形式推送到老大的面前。抛开规划不谈,这种针对特定组件的漏洞收集工作实际上是比较繁琐的一件事儿,因为你也不知道什么时候爆发什么漏洞,但是我们还是有些特定的收集技巧,我们按照披露的灰度来对源进行分类:

  • 漏洞发现过程:这个时候最好的选择是oss-sec下面的bugtraq和oss mailing-list,或者是openwall mailing-list,如果你曾经给redhat这种提交过漏洞,也可以混到他们的邮件列表中去获取相对应的情报信息
  • 漏洞披露之后:最直接的方法是直接去爬去每天更新的cve列表,mitre有接口可以操作

完成这个过程之后,实际上你就可以去编写爬虫了,至于编写爬虫的过程,略,大概爬完就是这种效果:

{
    "id": "CVE-2018-6439", 
    "cvss": {}, 
    "seen_wild": false, 
    "date_created": "2018-12-03T00:00:00", 
    "description": "A Vulnerability in the configdownload command of Brocade Fabric OS command line interface (CLI) versions before 8.2.1, 8.1.2f, 8.0.2f, 7.4.2d could allow a local attacker to escape the restricted shell and, gain root access.", 
    "reference": [
        {
            "name": "https://www.broadcom.com/support/fibre-channel-networking/security-advisories/brocade-security-advisory-2018-730", 
            "type": "UNKNOWN", 
            "external_source": 
            "CONFIRM", 
            "href": "https://www.broadcom.com/support/fibre-channel-networking/security-advisories/brocade-security-advisory-2018-730"
        }
    ], 
    "products": [], 
    "mitre": "https://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2018-6439", 
    "exploit": []
}

0x02 机读转人读

这个时候你就能大概了解到了这个漏洞的一些信息,but,你只知道了这个漏洞的信息,但是你并不知道这个漏洞是否值得响应,那么什么样的漏洞信息值得你去响应呢,一般情况下这个值得响应是跟资产相关、漏洞危害、在野利用、是否披露等多个方面进行评估之后才能得出是否需要修复的决策的,这显然不是威胁情报生产团队需要考虑的(毕竟有干实事儿的SRC存在),但是情报侧要提供信息可以帮助他们决策,以上面这个漏洞而言,我们需要关注的是描述这里:

A Vulnerability in the configdownload command of Brocade Fabric OS command line interface (CLI) versions before 8.2.1, 8.1.2f, 8.0.2f, 7.4.2d could allow a local attacker to escape the restricted shell and, gain root access.

我们在这里使用自动化的方法完成对这段话的处理,处理的目的在于:

(1)提高情报的可运营效率,也就是说人话让运营人员能操作

(2)提高情报指向性,方便运营人员排查资产是否受影响

(3)联动IM,提高情报推送的及时性

(4)也可以和资产系统进行联动,确定受影响的组件范围,降低修复漏洞的SLA

我们使用简单的分词结合之前使用cpe和cwe等数据作为训练样本获得的数据对漏洞告警信息进行处理,并且将告警信息汉化,举个例子:

# coding: utf-8
import nltk
import mtranslate
from nltk.tag import pos_tag_sents

fintels = []

vul_describes = json.loads(cve_spider_list)
for vul_describe in vul_describes:
    chn_u = mtranslate.translate(vul_describe["description"], "zh-cn")
    words = nltk.word_tokenize(vul_describe["description"])
    affect_list = mach_learn(cpe_list_sample()) # 训练样本返回的组件名称规则
    version_list = mach_learn(cpe_version_sample()) # 训练样本返回的组件版本规则
    severity_list = mach_learn(severity_sample()) # 训练样本返回的漏洞类型规则
    res = nltk.tag.pos_tag(words)
    affect = ""
    version = []
    severity_list = []
    for word,pos in res:
        if pos in affect_list:
            t_words = word + " "
            affect += t_words
        elif pos in version_list:
            version.append(word)
        elif pos in severity_list:
            severity_list.append(word)    
    fintel = {
        "description": chn_u,
        "affect": affect,
        "version": version,
        "reference": vul_describe["reference"],
        "cve_id": vul_describe["cve_id"],
        "severity": severity_list
    }
    fintels.append(fintel)
print(fintel)

处理过后得到的信息就变得简单多了:

OK,这个时候,我们就可以联动IM了,因为各家IM都不尽相同,所以这个就看各家的SDK就能解决这个问题,最后推送的效果呢就是这样:

这样,安全运营人员就可以根据你的情报进行响应了。

0x03 小结:

以上的问题其实从操作的角度上来看并不难操作,关键是在于NLP技术如何帮助去自动化处理一些威胁情报信息来方便人去运营,毕竟情报收集很大一定程度上都是根据公开的信息,有很多情况下都是需要去处理海量的信息,这个时候自动化识别、NLP、OCR这些技术就能够提高我们的处理效率,减少因为情报造成的时机延误。毕竟运营哥哥和姐姐也是很辛苦的,扫描器、监控、IDS这些东西都会告警,都要去响应,这时候你要是再给他来一堆不能响应的情报,他会拿一把40米长的大刀然后让你先跑39米。

另外打一个小广告,我和几个朋友建了个威胁情报技术和运营的交流群,欢迎甲方的安全情报运营人员和乙方的威胁情报分析大佬们加入(现在已经有一些一线互联网厂商的大佬和top1、2、3威胁情报厂商的资深分析师入住),由于小弟最近有点忙,只要看到了就会同意进群,数量有限。如果看不到二维码的话,微信搜索elknot即可,加的时候麻烦备注一下id和所在企业,因为是机器人审核所以是自动的。

u.wechat.com/MBlOyYc9Mv (二维码自动识别)

编辑于 2018-12-04