流量上的攻防：一、什么是流量分析
1.介绍
近些年，随着企业上云、5G落地、物联网设备激增，网络爆炸式发展，网络流量海量化、复杂化成为常态，如何识别、监测、分析网络流量成为重要研究方向和企业关注热点。网络流量监测分析既指特定用途的硬件设备（比如各家安全厂商提供的NTA/NDR），也指基于网络层的安全分析技术。不同于主机层、应用层是以日志、请求等为分析对象，流量分析面对的是更底层的网络数据包，信息元素更多，分析更复杂。
网络流量分析也泛指对用户的数据流量进行监控过滤，将不良信息有效的掌握在监控范围内。网络流量分析主要用于监控企业网络。公司利用网络流量分析来记录和分析网络流量和资产间通信的模式。然后使用此数据来发现和应对安全威胁。网络流量分析跟踪网络可用性和活动，并识别操作和安全方面的违规行为。
网络流量分析技术现在使用火热的是NTA解决方案，但根据Gartner发布的报告显示，对于流量层面的安全防护，已使用NDR替代NTA。其中：
- NTA（Network Traffic Analysis）能够通过监控网络流量、连接和对象来识别恶意的行为迹象，主要着重点在于对于数据的分析。
- NDR（Network Detection and Response）是一种用于网络安全威胁检测和响应的技术，它可以捕捉、记录和分析网络数据流量中的各种事件和行为，从而快速发现和响应安全威胁。
正如上述描述，对于网络流量分析有多种解决方案，并且都在不断进步，本文主要基于NTA分析网络流量。实际上，流量层的安全理论并不是一成不变的，比NDR更新的解决方案XDR（Extended Detection and Response）正在逐渐占领新市场。
2.原理
Gartner 认为 NTA 的是 “运用机器学习、高级分析和规则检测等多种技术对企业网络中的可疑行为进行检测”。但是，NTA 的出发点依然是就流量进行检测，使用的能力还是局限在对流量的分析上；同时尽管 Gartner 认为 NTA 需要能够运用机器学习和高级分析的技术，但是在实现阶段，受限于当时的技术能力，还是以规则匹配为主。使用规则匹配的缺点很明显，没有办法处理新出现的流量，应变能力有限。目前人工智能火热，许多安全公司都在探索如何通过机器学习或者深度学习的方式自动监测其中的异常流量并报告。已知的启明星辰就在尝试通过机器学习的方式探索对DGA的监测，绿盟在对DDOS攻击方面的流量阈值，使用了基于历史流量阈值的机器学习来预测下一个时间点的流量阈值。
NTA相比于NDR还是要简单很多，着重于对流量数据的分析，对于攻击流量的反制并不在考虑范围，更类似于流量探针的作用。做好将识别到的异常流量及时报警给运维人员，让运维人员去启动防御和反击的产品就足够了。而这中间，如何做好报警也并不是一件容易的事情。
目前常见的网络流量中的攻击有：
- 由于早期的网络协议考虑不完善而造成的协议安全隐患，如BGP协议攻击、CDP协议攻击、MAC地址欺骗、ARP缓存投毒、DHCP饥饿攻击、RogueDHCPServer攻击、VLANhopping攻击、802.1x协议攻击等；
- 由于恶意并发请求而造成的拒绝服务攻击（DDoS），如SYNFlood、UDPFlood、NTP反射攻击、SSDP反射攻击、DNS反射攻击、memcache反射攻击、CC攻击等；
- 各种探测扫描，如IP扫描、端口扫描、漏洞扫描，以及病毒蠕虫传播、挖矿传播、勒索软件传播、暴力破解等进行的扫描；
- APT和C&C通信，如硬编码IP域名、DGA随机域名、DNStunnel、加密流量分析等；
- 可解密的应用协议攻击，如HTTP攻击、SMTP攻击、MySQL攻击、SMB攻击等。
基于规则匹配的方式能够监测出传统的简单流量攻击，如当流量产生条数超过正常的阈值的五倍，就可以判定为遭受到DDos攻击，在去根据流量中的特征，判定是何种DDos攻击。随着攻击方式的不断进化，许多流量攻击已经无法被简单的规则匹配所识别，而不同的网络环境所带来的流量也无法准确匹配到规则，部分客户要求做到全自动化无规则识别，这个时候一般可以结合机器学习和大数据分析发现异常流量，并进行事后流量的调查取证分析等。
NTA的分析过程如下图所示：
从上图可以知道，Gartner认为网络流量分析主要分为四个阶段：
- 捕捉流量
- 筛选去重去噪
- 流量分析和探查
- 监测并告警
后续文章将分别介绍上述过程。
3. 应用和产品
常见的网络安全公司基本都有其对应的网络流量分析产品，如下所示：
- 绿盟网络流量分析系统 NTA
- 启明星辰泰合安全管理平台
- 明御新一代入侵检测系统
- 深信服NTA全流量威胁分析系统
- 安全感知与管理平台(一体机)
- …
网络流量分析是很多安全产品的最基础部分，也是对抗流量攻击的最前沿部分，基本所有公司都有涉及。
目前，NTA技术已基本具备了成熟的响应与监测能力，具备多元化网络安全解决方案的企业以及专攻一门（如网络沙盒）的企业已基本覆盖NTA市场，已经能够实现具体案例具体实施的细化解决方案。对Gartner《NTA市场指南》中罗列的国外知名厂商旗下安全产品，比如FireEye的SmartVision，Cisco的Stealthwatch，以及国内代表性厂商解决方案，如斗象智能安全PRS等产品进行功能梳理，可以看到成熟的产品一般具备以下特点，或支持相关能力：
- 网络全流量存储与检索
解析后的全流量网络协议数据会基于大数据技术进行存储，形成数据仓库以支持快速检索的能力，以满足对实时数据的在线分析与离线分析技术。
- 攻击行为检测
通过对协议进行特征识别，检测通用攻击行为的能力，如Web攻击、应用层攻击、端口/服务扫描攻击等。
- 异常行为检测
对协议数据进行行为分析，注重协议上下文的关联性，大量应用机器学习、数据分析等新技术识别异常行为与高级风险。
- 基线式检测
以海量数据为基础，构建安全基线场景，利用离线分析技术，检测低速及潜伏型安全威胁。
- 数据智能安全分析
基于保留的原始流量数据，结合数据挖掘、人工智能等相关大数据技术，更加智能地洞悉信息与网络安全态势，更主动、弹性地去应对新型复杂的威胁和未知多变的风险。
- 溯源与调查取证
应用大数据解析与检索技术，对协议上下文与协议内容进行调查取证，快速定位风险事件与协议事件的关系。
- 可视化威胁狩猎
应用可视化分析技术，关联异常事件的综合信息，降低安全支出，提升安全可见性。
从这些产品的既往发展路径以及对未来的发展规划，可总结出NTA技术与整个行业呈现出以下几种发展趋势：
- 对NTA的功能需求进一步增加。
尤其在以高持续性威胁（APT）为代表的新式攻击手段兴起后：既要在网络层面实时的呈现网络流量，又要在受到攻击后尽快进行网络入侵取证。于是“采集原始流量—流分析—应用协议元数据—持续监测网络对象—分析异常流量—溯源可疑行为—联动威胁情报应对高级威胁“成为NTA今后发展的一个重要方向。主流产品采用旁路部署镜像流量，实时采集并深度解析流量信息，采用大数据技术实现全流量存储与海量数据快速检索。
- NTA将吸收机器学习技术，实现基于行为的网络流量异常检测，而非基于签名的传统方法。
基于边界和签名的防护思路已经无法抵御当代网络犯罪分子使用的复杂攻击手段。机器学习非常适合用于理解和检测大规模的流量异常行为，能够快速适应企业环境中的变化条件。基于机器学习实现的NTA采集、存储、分析、挖掘以及可视化能力将成为企业感知网络安全事件并进行应对的可靠选择。
- 集成能力和可扩展性将成为评定NTA解决方案的重要因素。
对于企业而言，SIEM（安全信息与事件管理）能够有效覆盖大多数网络分析场景，而网络和主机活动信息是很多传统安全产品难以提供的内容。因此，NTA与传统SIEM解决方案实现无缝融合，形成“采集—分析”的一体化模式，实现1+1>2的目标是未来的重点发展方向。
结语
网络攻击态势正逐渐走向产业化、服务化和普及化，面临不断变化的动态威胁，安全防御机制也在向体系化、智能化迈进，威胁情报、态势感知、行为分析、追溯取证成为了新的解决手段，NTA技术的检测与响应能力已成为企业进行全盘考虑时优先考虑的两个抓手。
评论区