1. 修订履历
| 版本号 | 日期 | 姓名 | 修订内容 |
|---|
2. 需求背景
随着近来我国在电商、教育、金融、通信类的业务是高速发展，随之而来的是各种应用型软件在面对各种的访问、操作信息资源的情况下，都未能及时建设企业内控审计，因而造成的安全问题时有发生，特别是在应用系统操作层面发生多起安全事件，造成影响非常恶劣。面对如此场景复杂和数据量过大的情况下，传统方案那种依赖各各业务支撑系统自身的日志功能进行审计的做法已经无法满足当前和未来业务发展的要求，更无法应对国家提倡的关于加强信息化安全管理的要求，急需建立统一的审计管理系统。
3. 数据采集-王勇
3.1. 数据特点
参与审计数据特点主要有四点：
根据目标来所处的物理的或者空间上可分为内部数据外部数据，内外部数据可能会遇到跨地理区域或者跨业务边界；
按数据的结构又可分为结构性数据和非结构性数据
按照数据本身的态势属性来分有可变、不可变
从数据的量上来区分有海量的大数据例如在亿万PB量级；以及低数量级的数据，例如百万级别
3.2. 数据采集对象
3.2.1. WEB服务器
- WebLogic
- Apache
- Microsoft IIS
- WebSphere
- nginx
- 等等
操作记录包括：用户登录、修改配置、应用层的操作等。
数据内容至少包括：用户操作时的用户识别符、登陆时间、注销时间、事件发生的日期和时间事件内容或操作结果等。
3.2.2. BS架构应用
- MISC业务的应用
- 其他
操作记录包括：用户登录、修改配置、应用层的操作等。
数据内容至少包括：用户操作时的用户识别符、登陆时间、注销时间、事件发生的日期和时间事件内容或操作结果等。
3.2.3. CS架构应用
- 智能网业务的应用
- 短信业务的应用
- 其他
操作记录包括：用户登录、修改配置、应用层的操作等。
数据内容至少包括：用户操作时的用户识别符、登陆时间、注销时间、事件发生的日期和时间、事件内容或操作结果等。
3.2.4. 主机系统
- Solaris
- AIX
- Windows
- Linux
- 等等
操作记录包括：系统文件和文件属性修改，口令输入、关键应用系统文件的改变、增加和改变用户属性、系统启动和关闭等。所有系统特权命令的使用都被全面的记录。日志内容至少包括：用户操作时的用户识别符、登陆时间、注销时间、事件发生的日期和时间事件内容或操作结果等。
3.2.5. 数据库
- Oracle
- DB2
- SQL Server
- Sybase
- Informix
- 等等
操作记录包括：用户登录、注销、数据查询、插入、数据修改、数据删除、修改配置等。日志内容至少包括：用户操作时的用户识别符、登陆时间、注销时间、事件发生的日期和时间事件内容或操作结果等。
3.2.6. 网络设备
CISCO、Juniper、华为等主流厂商的交换机和路由器，其它厂商设备等。
操作记录包括：用户登录、修改配置等。
3.2.7. 邮件服务器
- Sendmail
- Exchange
操作记录包括：用户登录、修改配置、应用层的操作等。
3.2.8. 各类安全设备
- IDS设备，如ISS等主流厂商或者现网在用的HIDS、NIDS产品。
- 防火墙设备，如Check Point、Cisco PIX、Netscreen、华为等主流厂商或者现网在用的防火墙设备。
- 帐号口令管理系统；
- 防病毒系统等等。
操作记录包括：用户登录、修改配置等。
操作记录包括：用户登录、修改配置、收集到的入侵事件日志等。
3.3. 数据采集方式
- Web API方式；
- 服务代理方式；
- 客户端嵌入方式；
- 爬虫技术方式；
- Syslog方式；
- SNMP方式；
- ODBC方式，数据库自身日志功能开启情况下，可通过ODBC方式收集数据库日志；
- Flatfile：该日志收集机制与Syslog逐条发送机制相对应，是系统日志文件整体传送和解析的机制；在条均允许的情况下，大量非实时日志数据、windows或xwindows的视频回放数据，可采用这种方式；
- OPSEC：Checkpoint防火墙通过OPSEC协议发送日志，需要支持OPSEC方式接收日志；
- 审计代理：对windows类操作系统，需要在主机上安装审计代理软件，收集系统日志；审计代理不应占用大量的系统资源或降低系统原有安全性。
3.4. 数据传输安全
传输过程应该支持加密认证机制。数据传输异常中断，系统能够提示异常、重新传输。
3.5. 数据采集策略
3.5.1. 不同来源的数据
- 内部数据采集方式支持通过安装审计代理程序或修改系统配置来进行日志的采集，通过数据收集策略定制来开启与关闭各系统的数据采集功能及确定应采集的数据的种类。
- 外部数据采集方式支持通过网络镜像、堡垒主机等方式获取审计对象的网络报文流量，进行协议解析和会话还原。按照访问控制的策略支持对特定用户和特定服务的操作行为的记录。
4. 数据清理转换-王勇
在实际过程中，数据采集模块会收集到多种类型的数据，而这些数据定义的格式和内容不尽相同，而且还有收集到的数据存在重复或者错误项，这些异常的数据的存在可能会影响实际审计结果。座椅我们在审计分析之前，将这些非标准化数据、重复数据、含有错误项的异常数据进行清理或者转换。
4.1. 清理策略
记录数据排序
识别重复
合并重复项
关键列缺失
4.2. 数据转换
转换错误数据
转换变化数据
5. 数据存储
数据经过收集和清理转换统一处理步骤之后，需要对数据进行合理存储。存储是对审计分析的基础。数据的记录可能增长到TB级别，个别场景可能会是PB级别，面对大数量级的数据，数据的存储策略和存储方式对后续的分析有着至关重要的影响。
5.1. 存储策略
根据数据的存储格式、存储空间、检索速度以及存储成本等需求策略进行按需存储。
5.1.1. 日志存储格式
应用程序、网络设备以及操作系统会产生多种不同的日志数据格式，一般可供选择存储格式为文本、二进制或者压缩文件。
基于文件存储是目前应用较为丰富的日志类型，成本低，易于生成。
5.1.2. 关系数据库存储策略
目前主流关系型数据库有甲骨文Oracle、IBM的DB2、微软的SQLServer以及免费开源的MYSQL等。
当使用关系型数据库作为集中存储以及日常审核分析时，应该保留日志数据条目以及数据库的日志字段。当日志数据量过于庞大、臃肿，这种情况下应将以下信息存入数据库中，以便分析和生成审计报告。
头信息：通常包含事件发生的时间戳以及事件涉及的IP地址，单独存储这些信息在构建信息、确定主机虚报，漏报以及系统时间
消息体： 事件的消息，例如可以快速查询和报告频繁出现登陆失败、授权失败时消息的情况。
分析和总结：自定义脚本和工具可能被各个系统使用，以确定整个事件走向并对结果进行总结。
使用关系型数据库存储日志数据最主要优点就是易用和较低的成本，可以快速构建数据审计基础平台，但是随着数据量持续增长，检索和分析数据项会变得缓慢和烦琐，这时候的存储就是很大瓶颈。
5.1.3. 键值数据库存储策略
键值数据库可以作为独立的服务器运行，它在存储和处理海量日志数据方便相比关系型数据库有独特的优势。
具体有：
- 高效进行海量数据的存储和访问。
- 能够满足高并发地的读写请求。
- 具有高扩展和高可用性
5.1.4. Hadoop分布式存储策略
基于Hadoop的生态圈提供HDFS分布式文件架构，满足海量数据存储模型，提高访问吞吐量，同时它还具备高容错性和高拓展性，同时还能满足流式数据访问模式读写超大文件。
5.2. 存储方式
用于审计的数据面对不同需求，有不同的存储需求，按照状态来分类有在线存储、离线存储以及位于二者之间的近线存储。
5.2.1. 在线存储
也就是实时存储，存储设备和所存储的数据时刻保持“在线”状态，使得数据可以立即访问和检索，并可对外提供用户随时读取。
5.2.2. 近线存储
5.2.3. 离线存储
5.2.4. 日志存储的实际应用
6. 审计分析策略-王勇
支持利用5W1H审计分析模型，新建和配置各种不同的审计分析策略，自动从各种待审计信息中分析出异常和违规行为，在审计预警、审计报表生成和专题审计时都可使用。
应根据审计分析和审计预警的内容预定义审计策略。
例如可以基于：
- 操作行为是查询详单；
- 被操作的手机号是VIP客户；
- 操作方式是后台查询或营业员无密码查询；
- 非工作时间这四个规则，建立一个“非工作时间VIP客户详单查询”的审计策略，在日常审计中使用。
策略配置支持时序分析、关键字分析、统计分析、关联分析等条件的组合，支持基于时间周期的策略配置，支持被审计对象按照数量或百分比的数据抽样，支持策略的执行期限和频率。
审计分析策略配置可分为基础策略和自定义审计策略，基础策略面向全局，非审计管理员不得修改，自定义策略仅局限于特定应用系统及特定审计范围。通过审计策略配置并作用于审计分析引擎，输出符合要求的审计报表和预警信息。
按照操作类型将审计分析策略分为人员管理、账号管理、授权管理、认证管理、组织机构管理、承包责任管理管理、报销管理、敏感操作管理、产销品关系管理共九大类，审计分析重点关注异常、违规行为及各项高危操作，检查该行为的合规性。
6.1. 事件分类
支持基于业务上的约束、以及源地址、源应用程序、用户、操作的对象、操作的类型、操作的时间和操作结果来进行分类。
6.1.1. 人员管理
重点分析超出工作职责需求的人员管理和未经审批流程就执行的人员变更的行为。审计中心至少支持对以下两表所列的人员管理行为审计分析策略：
6.1.2. 账号管理
6.1.3. 授权管理
6.1.4. 认证管理
6.1.5. 组织机构管理
6.1.6. 责任承包关系管理
6.1.7. 报销管理
6.1.8. 敏感操作管理
6.1.9. 产销品关系管理
6.1.10. 专业资源划配关系管理
6.2. 事件分级-王勇
支持按照事件安全级别进行分类包括：普通、重要、高危等。
6.3. 缺省策略-王勇
支持按照缺省策略对事件进行审计。
6.4. 策略定制-王勇
支持提供向导功能进行复杂条件的策略定制。
6.5. 合法行为定制-王勇
结合自学习模块或独立定义，结合帐号的授权信息和正常的操作模式，建立日常正常操作的基线，过滤后形成需要重点关注的事件（如未授权操作、异常操作时点，异常发生频率等）。
7. 分析-王勇
7.1. 构建基础分析能力
7.1.1. 用户身份关联
由于企业信息系统的生态复杂化，孤立的信息日志无法直接与用户关联在一起身份，不利于问题分析、处理。通过有效的关联，准确地判断出用户的身份和属性，从而将操作行为和自然人进行对应。
审计系统需要支持将系统层的日志、数据库日志、应用层的日志及网络数据和实际用户关联起来，支持对不同用户之间的操作的日志进行关联审计，区分不同用户行为和聚合同一用户的行为。
例如：在用户登录过程中。需要识别包括什么人用什么账号在什么时间登录了什么系统，什么时间登出等，是否有非常规时间登录某应用系统；审核各个应用系统的登录情况。
7.1.2. 递归分析能力
7.1.3. 关键字分析能力
支持利用审计分析模型，针对所包含的关键信息提取出来构成审计的规则项进行分析，找出其中的异常和违规行为的过程。
例如：
- 在海量应用日志中分析是否包含：“java.lang.OutOfMemoryError关键字”从而触发事件响应机制；
- 分析是否包含危害企业和国家安全行为名词
7.1.4. 时序分析能力
7.1.5. 实时统计分析能力
7.1.6. 数据库操作审计
支持对数据库的各种操作命令分析，将这些操作还原成SQL语句并回显，保护重要的数据库表和视图，跟踪记录存储过程的执行。
支持帮助用户事后生成合规报告、事故追根溯源，同时加强内外部数据库网络行为记录，提高数据资产安全。
数据库审计是数据库安全技术之一，数据库安全技术主要包括：数据库漏扫、数据库加密、数据库防火墙、数据脱敏、数据库安全审计系统。识别SQL注入攻击行为，可以通过数据库审计发现。
7.2. 操作行为分析能力
通过审计系统，要在海量的事件中审计出用户操作行为，支持将系统层的日志、数据库日志、应用层的日志及网络数据进行相互关联，尤其是所有对财务、人力资源数据相关的关键系统数据的访问、修改和删除等，需要再现用户的完整操作过程。能够依据日志或网络数据能进行正确的模型生成用户操作行为，依据模型能进行准确的异常行为检测。
支持对不规则或频繁出现的事件进行统计分析、过滤和事件聚合等，同时提供自定义匹配模式便于查询。
操作行为分析中还可以具备安全事件的关联能力，要能够将来自不同设备的海量日志关联为准确的操作行为，并能对特定安全事件实现还原。
7.2.1. 高危操作审计
将各被审计系统负责人以可编辑文档格式提供的高危操作描述文档，包括自身系统重要操作或者危险操作列表、操作级别、对应的说明、高危操作的具体指令或特征值等等，以自动方式批量导入、或者以人工方式逐条导入系统。
允许用户定义高危行为集合。
7.2.2. 操作回放
网络数据采集模块支持对于网络报文的应用层协议分析和会话还原，实现对现网常见的应用，例如Telnet、FTP、HTTP、Email操作过程的还原和重放功能；Oracle支持针对特定用户和特定数据库进行SQL语句的操作还原和重放。在条件具备的情况下要求能够对Windows图形化应用进行操作回放。
7.3. 质差分析
要求提供数据质量和差异的监控、告警、问题分析处理， 关键环节、关键实体的数据质量和关键核心数据差异的监控预警机制，及时发现、报告协助处理因质差造成的数据问题。
7.4. 数据特征分析
具备可以根据数据的特征属性以及用户的行为属性进行组合、提炼，形成数字化、抽象化，从而汇聚成为数据基本特征。这些特征都是可量化的，可被定制。
7.4.1. 用户画像分析
支持构建用户特征的符号成为标签库，利用关联性很强的关键字，快速定位到内容及内容分类。
例如：在产品销售领域分析出某一产品受众的基本特性等。
7.4.2. 热点分析
根据用户日志将用户进行分类，就可以分析网站更受什么样的人群的喜爱。通过用户喜爱商品的排名统计，可以分析出网站的最受欢迎的商品。根据商品销量排名，可以分析出网站的畅销商品。
7.4.3. 留存分析
具备可分析用户使用产品时长，每个系统资源项每天被使用的统计，都会在什么场景下被使用等。
7.5. 趋势分析
具备对有关指标的各期对基期的变化趋势的分析，从中发现问题，为追索和检查提供线索的一种分析方法。
例如通过对应收帐款的趋势分析，就可对坏帐的可能与应催收的货款作出一般评价。
7.6. 舆情分析
数据分析师可以根据这些用户日志，挖掘出更多的价值和隐藏的信息。
7.7. 组合分析
8. 事件响应
8.1. 触发告警条件
支持基于不合规的业务办理、非法授权、非法源地址、非法客户应用、非法数据库用户名、非法数据库对象访问、非法操作类型、非法SQL语句、非法时间和高危事件进行报警。
8.2. 告警方式
支持以下报警方式：告警窗口、Email 、Syslog 方式、产生工单、短信和执行操作系统命令及声光告警方式等。
8.3. 告警内容
支持以下报警方式：告警窗口、SNMP Trap、Email 方式、产生工单、短信和执行操作系统命令及声光告警方式等。
8.4. 告警对象管理
8.5. 响应措施管理
8.5.1. 缺省响应措施
8.5.2. 自定义响应措施
8.6. 告警条件查询
9. 审计查询与报表
9.1. 事件与数据查询
提供灵活的查询功能，要求能按照如下关键词或者关键词组合进行查询、产生审计报告。
9.1.1. 普通条件查询
9.1.2. 模糊查询
9.1.3. 查询场景
9.2. 审计报表
审计系统的分析报表应具备以下能力：
- 报表的灵活定制；
- 关键敏感数据应该以一定的方式进行脱敏处理，避免直接展示；
- 能够将分析报告导出；
- 支持txt、html、doc、xls等报告格式
- 报告可分级分类，面向不同用户。
9.2.1. 缺省报表
9.2.2. 自定义报表
10. 管理类功能-王勇
10.1. 日志记录功能
应对本系统中租户、用户创建、修改、删除进行记录；
记录本系统用户的各种操作，包括用户名、时间、指令、操作内容描述、操作结果等信息；
支持各种或者部分主要的日志采集标准；
支持各种查询功能。
10.1.1. 原始记录管理
通过有效机制保护本系统用户操作相关的原始数据、记录免遭未授权的删除或修改。
支持分时间清除数据。
10.1.2. 备份管理
具备备份配置管理功能，在一定条件下，需要提供日志备份、配置能力，能够根据备份的选项提供相应的备份数据快速恢复功能，应做到对备份数据根据时间维度、事件源维度和事件类型维度等多维度综合检索能力。
10.2. 安全管理
10.2.1. 租户管理
具备不同用户共用一个基础平台，实现软件资源的共享，但是在租户内根据服务的使用人群（如运营人员、开发人员、业务人员等）创建不同的组织机构、用户组、角色、用户等信息，并为用户分配权限。每个租户都可以独立连接、管理和分析自有的数据，租户之间数据相互隔离、不可见，保证了租户数据的安全性。多租户机制助力企业灵活、安全的管理自有用户、权限等。
10.2.2. 认证管理
在用户执行管理功能之前能够对用户进行身份认证，用户切换角色时，需重新认证，登录之前可执行操作仅有输入登录信息和查看登录帮助，能够支持超时重新认证机制。
10.2.3. 授权管理
10.3. 数据模型管理
10.4. 订阅管理
具备根据用户的具体订阅的审计结果服务，向用户推送最终结果。