← 返回首页目录
# 智能网络数据服务（SNDS）完全指南
## 概述
智能网络数据服务（Smart Network Data Services，简称SNDS）是Outlook.com推出的一项革命性计划，旨在让所有拥有IP地址空间的实体，都能参与到对抗垃圾邮件、恶意软件、病毒以及其他互联网威胁的行动中来，从而保护电子邮件和互联网作为重要通信、生产力及商业工具的价值。
Outlook.com在全球拥有超过3.5亿活跃用户账户，处于收集和分析电子邮件活动数据的独特位置。通过向服务提供商提供这些信息（否则大部分服务提供商将无法获取此类数据），Outlook.com赋能后者利用其与客户的关系，采取相应的反应和修复措施，例如防止垃圾邮件从其IP空间内发出。SNDS的总体目标是让互联网变得更好、更安全。通过共同努力，Outlook.com与服务提供商能够让各自的客户对我们提供的各类服务感到更加满意。
## 核心工作原理
SNDS的基本思想是：一旦某人能够证明其拥有某个IP范围的所有权，SNDS便可向其提供有关从这些IP发出的流量的数据，例如邮件发送量和投诉率。这些数据代表了实际发生情况的真实信息——它们实际上是基于Hotmail和微软的入站邮件服务器及其他服务器的日志文件构建而成。数据的消费者有权采取他们认为适当的任何行动。这些行动可能包括：停用一台被遗忘的机器、增强主机或网络的安全措施，或者与在记录活动期间对某台主机负责的个人或组织进行沟通。
## 使用SNDS的广泛益处
Outlook.com认为SNDS服务将对所有相关方，乃至整个互联网，带来巨大利益。虽然最终受益者是所有人的客户，但我们相信SNDS计划的直接参与者将获得以下具体好处：
### 对服务提供商的益处
- **降低支持成本**：无论是来自其自身用户还是外部用户的支持成本都会减少。
- **降低带宽成本**：通过优化流量管理，减少不必要的带宽消耗。
- **提供端口25阻塞的替代方案**：对于那些不愿意或无法进行端口阻塞的实体，提供了一个有效的替代选择。
- **保护网络声誉**：防止网络因其作为垃圾邮件源而声誉受损。
- **防止合法客户被误封**：避免因垃圾邮件发送者的行为导致合法客户被屏蔽。
- **赢得客户感激**：客户会感谢你主动减少垃圾邮件并提高其机器及周边设备的安全性，特别是对那些被胁迫发送垃圾邮件的用户。
### 对Outlook.com的益处
- **构建更知情、更活跃的社区**：通过数据共享，促进社区自我管理和问题解决。
- **降低投递支持成本**：通过自助服务减少投递相关问题。
- **减少发往Outlook.com用户的垃圾邮件和恶意流量**：整体降低垃圾邮件数量，惠及所有用户。
## 账户注册与授权机制
### 注册与授权流程
获得SNDS数据访问权限包含两个组成部分。首先是**身份验证**，即使用任何微软Windows Live ID凭据在系统中将某人识别为特定用户。其次，也是与SNDS更为相关的，是**授权**环节，它决定了谁被允许查看哪些数据。完整的授权流程分为三个阶段：
1. **请求IP范围访问权限**：前往“请求访问”页面，输入您拥有的IP地址、IP范围或自治系统号（ASN）。授权算法通过反向DNS、WHOIS查询以及全球互联网路由表来工作，因此输入具有相似主机名或落在IP分配记录边界内的范围，有助于算法正确识别授权地址。
2. **选择授权电子邮箱**：如果成功，授权算法将返回一个邮箱地址列表，这些地址是其根据授权机制发现的、与所提供的IP范围关联的权威地址。请选择一个您能收信的地址，以接收授权邮件。如果未返回任何地址，请尝试缩小请求的范围。
3. **回复授权邮件**：点击发送至所选授权地址的邮件中的链接。这将向SNDS网站提供授权令牌，证明您能收到该地址的邮件，从而表明您对该IP范围拥有足够的所有权级别，可以查看这些IP的数据。
### 授权地址选择机制
授权地址由算法根据输入的请求（IP范围或ASN）自动选择：
- **IP或IP范围的处理方式**：使用两种数据源：反向DNS和WHOIS，两者可独立返回结果。
- **反向DNS技术**：检查范围内IP的主机名。如果所有主机名都在同一域名下（根据已知顶级域名判断），它将“授权”postmaster@domain.com和abuse@domain.com。此外，如果所有测试IP的域名更多部分一致，它还会授权第一个子域，例如postmaster@sub.domain.com和abuse@sub.domain.com。由于它对范围内的IP进行抽样，为确保足够精度，此数据源可使用的最大范围是/23（约500个IP）。
- **WHOIS方法**：查询全球、区域和国家IP注册机构（例如ARIN和APNIC），使用范围内的第一个IP查找涵盖它的最具体分配记录。然后确保所请求的范围不大于该记录涵盖的范围。如果是，它将授权记录中包含的所有电子邮件地址。为让尽可能多的相关方获得访问权限，只要只有一个ASN与该IP或范围关联，该过程还会包含根据下述段落“拥有”该IP或范围的ASN的任何授权地址。
- **ASN的处理方式**：SNDS会使用WHOIS，类似对IP的处理方式，即授权ASN记录（由注册机构维护）中找到的任何电子邮件地址。成功收到授权邮件并点击链接后，SNDS将授予用户访问该ASN通告的所有子网的权限。关于每个ASN通告子网的信息由RouteViews.org提供。如果ASN通告的子网随时间变化，只需重新请求授权，系统便会自动添加您尚未获得访问权限的任何子网。同样，系统也会自动移除对您的ASN停止通告的子网的授权。
### 无法接收授权邮件时的应对策略
如果没有电子邮件地址或没有您能收信的地址，有两种可能性：
1. **通过不同方式请求访问**：尝试遵循诊断消息和/或请求更小的范围。
2. **算法无法识别**：算法可能无法获取或知晓允许您成功授权的数据。在这种情况下，您可以考虑与组织或ISP内的适当人员合作，纠正SNDS提取信息的数据源（如WHOIS和DNS），或者让能够接收所选地址邮件的人员根据以下部分为您委派访问权限。
### 权限委派与撤销机制
- **委派访问权限**：您可以轻松地将访问权限委派或共享给他人。让他们像您一样注册，然后将授权邮件转发给他们，或代他们点击邮件中的链接。请注意，对于该请求的IP集合的任何未来授权请求，您仍需为他们担保。
- **撤销访问权限**：如果有人拥有您拥有访问权限的某些IP的访问权限，您可以在“访问控制”页面上看到这一事实。如果您认为他们不应拥有访问权限，可以单击“请求重新授权”链接要求他们重新授权。这将通知他们需要重复其最初遵循的授权过程，如果他们在7天内未成功完成该过程，他们将自动失去对这些指定IP数据的访问权限。
## 提供的数据内容详解
SNDS提供的数据旨在尽可能全面地描述IP的邮件发送行为，以便系统消费者能够阻止垃圾邮件。它报告邮件流量的各种特征。这些数据点设计得让垃圾邮件发送者难以或无法将自身与行为良好的邮件发送者区分开。同样，对于发送极少邮件的IP，则不提供数据，因为它们（目前）占垃圾邮件的比例可忽略不计。
### 每个IP提供的数据项
#### 核心数据字段
- **IP地址**：导致显示活动的机器的IP地址。在某些情况下，这可能是网络地址转换（NAT）系统的公共地址，此时该IP背后可能有一台或多台机器，我们的系统无法区分它们。请注意，对于当天发送少于100条消息的IP，可能不会显示邮件流量和垃圾邮件数据。
- **活动周期**：IP的邮件发送活动发生的时段。具体来说，它是PST日（太平洋标准时间，包括夏令时调整）中观察到该IP有活动的第一个和最后一个小时。我们理解更精细的时间粒度对许多数据消费者有用；但由于每天有数十亿的邮件事件，目前还无法实现。我们相信，在大多数场景中，特别是在与其他数据点/来源结合使用时，它将提供足够的粒度。
#### 流量数据
- **RCPT命令数**：IP在指定时间段内发送的RCPT命令数量。RCPT命令是用于发送邮件的SMTP协议的一部分，具体用于指定向提供的收件人发送邮件的意图。也就是说，命令“RCPT TO:”请求Outlook.com的服务器响应是否愿意接受发给example@hotmail.com的邮件，这对试图收集未来垃圾邮件收件人列表的垃圾邮件发送者来说是宝贵信息。作为参考，超过三分之一的向Outlook.com发送邮件的IP，其未产生邮件收件人的RCPT命令比例低于10%，这是一个良好的基准。
- **DATA命令数**：IP在活动期间发送的DATA命令数量。DATA命令是SMTP协议的一部分，用于实际传输邮件到先前建立的预期收件人。
- **邮件收件人数**：IP实际传输的邮件上的收件人数量。行为良好的邮件发送者，RCPT命令数与这个数字之间的差异通常很小（百分之几），原因是账户停用等其他异常。然而，巨大的差异可能表明发送方存在问题，例如收件人列表过时或进行“命名空间探测”，这两者通常与垃圾邮件相关。请注意，如果您发现此数字比报告的RCPT命令数略大，这很可能是由于我们记录这些数据的系统中一个特定的、已充分理解的异常，无需担心。
#### 垃圾邮件数据
- **过滤器结果**：显示在给定活动期间内，对IP发送的所有消息应用垃圾邮件过滤后的汇总结果。没有完美的垃圾邮件过滤器，此信息旨在作为帮助描绘整体图景的一个数据点，而不是对流量是否为真正垃圾邮件的最终判定。定义颜色的过滤器判定百分比范围如下：
- **绿色**：垃圾邮件判定率 < 10%
- **黄色**：10% ≤ 垃圾邮件判定率 ≤ 90%
- **红色**：垃圾邮件判定率 > 90%
黄色范围看似很大，但实际上落在该范围内的IP数量相对于其他两个类别而言相当少。由于SNDS可供任何能证明其IP范围所有权的人使用，我们必须小心避免提供过多可能帮助垃圾邮件发送者的数据。一个有用的技巧是，在查看多个IP的数据时，考虑非黄色的IP：如果它们大多是绿色，则黄色结果很可能非常接近10%的一端。同样，如果大多数其他IP是红色，则黄色结果可能代表接近90%的比率。请记住，此结果不直接代表投递到用户“收件箱”或“垃圾邮件”文件夹。每个用户的设置可能会将一些合法流量从“垃圾邮件”文件夹中解救出来，或者相反，更严格地处理其他消息。它不考虑可能被捕获但由于在用户的白名单上而未被捕获的消息等。
- **投诉率**：活动期间内，从该IP收到的消息被Hotmail或Windows Live用户投诉的比率。用户可以通过Web用户界面选择投诉几乎所有消息。计算公式为：“投诉数量”除以上述“邮件收件人数”。如果您观察到投诉率超过100%，请注意SNDS显示的是投诉当天的数据，而非追溯被投诉邮件投递当天的数据。作为参考，超过30%的向Outlook.com发送邮件的IP，其投诉率保持在0.3%以下，这是一个很好的目标。
- **陷阱消息**：与“活动周期”类似，此数据表示活动期间内从该IP收到的、发送给陷阱账户的第一条和最后一条消息的时间。不同之处在于，因为陷阱消息是与特定时间相关联的不同事件（而非汇总统计数据），所以时间精确到分钟。这对于IP动态分配给不同客户的范围非常有用，因为会提供两个确切时间，从而可用于将活动绑定到发送消息时该IP地址的一个（甚至两个）特定所有者。
- **陷阱命中数**：显示发送到“陷阱账户”的消息数量。陷阱账户是Outlook.com维护的不会主动邀请任何邮件的账户。因此，发送到陷阱账户的任何消息都很可能是垃圾邮件。行为良好的发送者很少会命中此类账户，因为他们通常只向主动提供地址的用户发送邮件，并且会收集并处理NDR。垃圾邮件发送者则更难避免它们，因为他们通常无法也不进行这些良好实践。我们认识到，提供实际的陷阱消息有利于试图清理列表或打击这些账户的合法企业，但这是另一个不幸的情况，即数据对垃圾邮件发送者有用的风险太大。
#### 样本与标识数据
- **样本消息**：为便于故障排除、取证和证据收集，SNDS提供样本消息。它既提供用户垃圾邮件报告，也提供陷阱命中的样本。为了在实用性和防止泄露过多数据之间取得适当平衡，SNDS每天为每个IP提供每种类型的一个样本消息。要访问样本消息，只需单击该天的数据即可。
- **样本HELO命令**：提供IP发送的实际HELO或EHLO命令示例。HELO/EHLO是SMTP客户端在SMTP协议会话开始时发送的命令，用于通告发送方身份并获取接收服务器支持的选项。垃圾邮件发送者有兴趣隐藏其身份，因此如果此字段指向客户可能使用的身份，那么结合其他数据，它可以帮助表明该IP没有发送垃圾邮件。
- **样本MAIL命令**：显示IP发送的实际MAIL命令示例。MAIL是SMTP客户端用于指示消息开始的命令，并指示此消息的DSN（投递状态通知，通常为NDR或未送达报告）应发往的地址。与HELO身份相同，垃圾邮件发送者有兴趣隐藏其身份，因此如果此字段指向客户可能使用的身份，那么结合其他数据，它可以帮助表明该IP没有发送垃圾邮件。
#### 注释与状态信息
**注释字段**：此列提供关于IP的任何额外数据。可能显示此类数据的条件集包括：
- **JMR P1发送者**：当收到JMR投诉时，投诉会被关联并存储，包括违规IP和P1发送者。
- **JMR阻塞**：此注释会在IP因滥用投诉而被阻塞时显示。如果您已注册JMRP报告，可以使用这些信息来识别哪些电子邮件被收件人视为滥用或标记为垃圾邮件。
- **JMRP垃圾邮件投诉计数**：特定IP在特定日期内所有被归类为垃圾邮件的JMR投诉数量。UTC时间仅表示报告更新时的结束日。发送者应审查其JMRP源并在适用时采取适当行动。如果您在共享IP后面，无论发送域如何，您都会看到所有垃圾邮件投诉。
**病毒与恶意软件检测**：
- **病毒检测**：Outlook.com会扫描其处理的电子邮件以查找病毒。当发现病毒时，除了阻止病毒感染或传播外，还会记录上传病毒负载的IP。在给定日期内发现上传一个或多个病毒负载的IP将显示注释“在3/4/05 1:23 PM检测到1个病毒”。要解决此类问题，请考虑在机器上安装病毒扫描程序，或者如果服务器是邮件中继，则安装专门用于邮件服务器处理的病毒扫描程序。同时考虑让通过该服务器中继邮件的用户安装病毒扫描程序和其他安全软件，如Windows Live OneCare。
- **恶意软件托管**：微软运行一个系统，浏览互联网上的网页以识别那些利用Web浏览器漏洞在客户端计算机上秘密安装程序的网站。这是一个完全自动化的系统，使用专有软件以类似于人类用户的方式驱动Web浏览器软件（如Microsoft Internet Explorer）。系统可能安装了各种安全更新来模拟可能或可能未安装最新软件更新的用户系统。通过这种方式浏览网站，系统能够检测到通过利用漏洞进行的程序透明安装。如果此系统识别出利用浏览器漏洞的网站，此列将显示：“在3/4/05 1:23 PM检测到托管漏洞URL [url]”。当网站被报告包含漏洞URL时，SNDS会执行该网站的域名系统（DNS）解析以识别：1）托管该网站的IP地址，以及2）该网站域的权威DNS服务器的IP地址。前者标识托管网站的计算机系统的IP地址。这些IP地址被列出，因为它们是为浏览网站的用户提供漏洞代码的系统的地址。后者标识负责将网站解析为#1中识别的IP地址的DNS服务器的地址。它们首先被列出用于交叉引用此处呈现的结果，其次是因为在某些情况下，权威DNS服务器可能已被恶意用户入侵。这允许恶意用户创建或修改网站的条目，并将其指向一组可能不在域管理员控制之下的IP。提供的信息本质上可能是短暂的；列出的IP地址可能不再托管漏洞URL，因为它已被清理、更改或重定向到另一个IP。尽管如此，通常值得调查以确定漏洞检测的根本原因。
- **开放代理状态**：Outlook.com会主动测试连接到其邮件服务器的IP以查找开放代理。如果IP测试为阳性，此列将显示“在3/4/05 1:23 PM检测到开放代理”。从开放代理服务器发送邮件违反了Outlook.com政策，并且只要保持此状态，它将被阻止访问部分或全部Outlook.com服务器。
**IP状态页面**：在“查看IP状态”页面上，提供与Outlook.com状态异常的IP集合。目前提供的两种不同状态是：
- **已阻止（Blocked）**：被阻止向Hotmail发送邮件的IP。从这些IP尝试向Hotmail的邮件服务器发送邮件将导致持续拒绝，但使用Hotmail Web用户界面可能不受影响——它被单独控制。会提供阻止的原因或来源以及其他更具体的信息。要查看解除IP地址阻止的信息，请访问主Postmaster站点并遵循那里的说明。
- **僵尸网络（Bot）**：最近被观察到表现出僵尸网络行为的IP。要解决此情况，请与该IP地址上的机器所有者合作，检查、消毒并保护这些机器免受未来入侵。
- **已标记为垃圾邮件（Junked）**：来自此IP的消息已被标记为垃圾邮件。随后尝试向Hotmail的服务器发送不良邮件可能会导致持续拒绝，并最终该IP将被阻止。请遵循故障排除建议来解决此问题。
## 数据访问方式与时间范围
### 数据检索方式
有两种方法可以访问SNDS提供的数据：
1. **Web界面浏览与手动导出**：通过登录本网站并浏览数据。可以通过单击数据页面底部的“导出为.CSV”按钮手动导出数据。请确保已启用Cookie和JavaScript，因为它们对于网站的正常运行是必需的。
2. **自动化系统访问**：第二种访问数据的方式适用于自动化系统，因为它提供了一个不需要Windows Live ID身份验证的简单数据访问URL。可以使用此页面可选地启用该功能，该页面提供了启用功能后用于下载数据的示例URL。通过此机制提供的数据与在主数据页面上使用“导出为.CSV”按钮提供的.CSV数据相同。
### 数据可用时间与保留期限
每天大约在PST午夜，一个处理进程启动，汇总来自Outlook.com各个系统的前一天数据。由于处理的数据量巨大，此过程可能需要几个小时，因此特定日期的数据可能在午夜后不会立即可用。这些数据在SNDS中保留显示90天，以便显示过去的行为以进行比较和趋势分析。
## 常见问题与故障排除
### IP被阻止或邮件未投递的处理
如果您遇到这种情况，最重要的事情是前往主Postmaster站点并遵循那里的指示来解决该问题。SNDS团队无法处理任何关于邮件投递支持的请求——SNDS系统仅显示影响投递的数据。在通过适当的支持渠道联系微软时，请注意，垃圾邮件过滤器状态（红色/黄色/绿色）、投诉率、陷阱命中率和阻止状态之间的差异并不表明系统中存在错误。并非每个指标都需要为负面才能采取行动。例如，如果电子邮件被过滤，用户不太可能看到它们，因此不太可能提交投诉，因此投诉率自然倾向于较低。