OSSIM 添加 Linux代理

Env CentOS6.6

操作方法见 官网
干净的CentOS需要 先安装好wget 和gcc

下载源码安装

1 2 3 4

wget https://bintray.com/artifact/download/ossec/ossec-hids/ossec-hids-2.8.3.tar.gz tar -zxvf ossec-hids-2.8.3.tar.gz cd ossec-hids-2.8.3 bash install.sh

然后就是根据提示进行安装，

提取Key到agent文件(/var/ossec/binmanage_agents)

1. 选择语言
   
2. 提示安装gcc
   
3. 选择安装模式 agent
   
   4.相关信息设置默认就好
   
   5.根据相关情况填入Service IP或者主机名
   ……
   安装成功后会给出服务启动和关闭的一些命令信息

   1 2 3 4 5 6 7 8 9

   - 已正确完成系统配置. - 要启动 OSSEC HIDS: /var/ossec/bin/ossec-control start - 要停止 OSSEC HIDS: /var/ossec/bin/ossec-control stop - 要查看或修改系统配置,请编辑 /var/ossec/etc/ossec.conf

在OSSIM Web 端添加Agent

Environment > Detection>HIDS > Agents > Agent Control > Add Agent.
选择相应主机后 Save

提取Key到agent文件(/var/ossec/binmanage_agents)

agent启动成功

)

然后可在OSSIM中看到该Agent相关信息

修改源列表

由于Gnome较大，所以使用国内源，放在文件最前面

1

vim /etc/apt/sources.list

1
2
3
4
5
6

deb http://mirrors.ustc.edu.cn/debian jessie main contrib non-free
deb-src http://mirrors.ustc.edu.cn/debian jessie main contrib non-free
deb http://mirrors.ustc.edu.cn/debian jessie-proposed-updates main contrib non-free
deb-src http://mirrors.ustc.edu.cn/debian jessie-proposed-updates main contrib non-free
deb http://mirrors.ustc.edu.cn/debian jessie-updates main contrib non-free
deb-src http://mirrors.ustc.edu.cn/debian jessie-updates main contrib non-free

更新系统

1

apt-get update

安装Gnome环境

1
2

apt-get install gnome
apt-get install xserver-xorg

安装FVWM环境

1

apt-get install x-window-system-core fvwm

解决单列用户模式

vim /boot/grub/grub.cfg

1	修改 set timeout=0,值为5~10之间都OK

允许Root用户登录

进入/etc/pam.d/gdm3目录 找到相应文件 注释掉如下两行

1 2	./gdm-autologin:3:auth required pam_succeed_if.so user != root quiet_success ./gdm-password:3:auth required pam_succeed_if.so user != root quiet_success

启动图形界面

1
2
3

init 2
service gdm3 restart
service gdm3 start

删除相应deb文件

由于Gnome相关文件较大，安装结束后为了节省磁盘空间我们删除相关deb文件

1	rm /var/cache/apt/archives/*.deb

tips

磁盘空间
实际环境500GB 到2T
相关版本changelog
https://www.alienvault.com/forums/discussion/7242/

汉化
李晨光-51CTO博客

进程隐藏相关原理

原理

目前在 Linux 上隐藏进程的技术主要有两种

1

( 1) 类似于 ps、top 等的命令能够列出包括 init 在内的所有重要的系统进程, 通过对他们的实现过程进行改造来实现进程隐藏, 具体做法是“劫持”ps 的关键系统调用 sys_getdents( ), 从而无法查看包含进程信息的目录。

1

( 2) ps 命令实际是通过读取 proc文件系统来向用户返回进程信息的, 而 proc 文件系统是通过文件系统( VFS) 接口来实现的, 因此通过劫持文件系统操作函数集( inode_operation 和 file_operations) 中的有关函数, 使得进程信息无法通过文件系统接口输出给用户。

以上两种方法虽然都可实现进程隐藏, 但均是在较高的层次上实现的,
方法 1 虽然在 ps 时看似隐藏了某个进程, 但在 proc中该进程仍然对用户可见
方法 2 是在 VFS 层对内核函数的劫持, 意味着需要先判断输出的系统信息是与进程有关的还是与进程无关的( 与进程无关的并无隐藏的必要)
并且这两种方法都无法满足仅对进程部分信息隐藏的需求, 在实际应用中不够灵活。实际上, 用户对进程信息的访问, 都是通过proc 文件系统完成的, 因此, 实现进程隐藏的根本途径是从 proc 入手, 准确地找出进程信息产生的关键点, 在这些关键点上做一些特殊的处理, 从而达到实现进程隐藏的目的。

Proc文件系统简介

1

proc 文件系统是一个伪文件系统，它只存在内存当中，而不占用外存空间。它以文件系统的方式为访问系统内核数据的操作提供接口。用户和应用程序可以通过 proc 得到系统的信息，并可以改变内核的某些参数。由于系统的信息，如进程，是动态改变的，所以用户或应用程序读取 proc 文件时，proc 文件系统是动态从系统内核读出所需信息并提交的。

1

基于/proc 文件系统如上所述的特殊性，其内的文件也常被称作虚拟文件，并具有一些独特的特点。例如，其中有些文件虽然使用查看命令查看时会返回大量信息，但文件本身的大小却会显示为 0 字节。此外，这些特殊文件中大多数文件的时间及日期属性通常为当前系统时间和日期，这跟它们随时会被刷新（存储于 RAM 中）有关。

1

为了查看及使用上的方便，这些文件通常会按照相关性进行分类存储于不同的目录甚至子目录中，如/proc/scsi 目录中存储的就是当前系统上所有 SCSI 设备的相关信息，/proc/N 中存储的则是系统当前正在运行的进程的相关信息，其中 N 为正在运行的进程（可以想象得到，在某进程结束后其相关目录则会消失）。

1

大多数虚拟文件可以使用文件查看命令如 cat、more 或者 less 进行查看，有些文件信息表述的内容可以一目了然，但也有文件的信息却不怎么具有可读性。不过，这些可读性较差的文件在使用一些命令如 apm、free、lspci 或 top 查看时却可以有着不错的表现。

Proc文件系统目录结构

进程信息的创建过程

结合实际情况, 一个用户查看某个进程的信息有两种情形

1
2
3

( 1) 用 cat 之类的命令直接读取进程目录下的节点文件
( 2) 用 ls 之类的命令列举所有的进程目录
proc 对于这两种方式分别有不同的处理对于 ls 命令是调用 VFS 的 readdir( ) , 而对于cat 命令则会发生对一系列 lookup 函数的调用。

进程隐藏的实现

通过以上对 proc 文件系统中生成进程信息实现过程的分析, 我们发现由于 Linux 缺乏模块化,难以找到一个统一的入口, 准确地对进程信息实现隐藏, 必须对实际应用中可能出现的情形 用 cat之类的命令直接读取进程目录下的节点文件和用 ls之类的命令列举所有的进程目录, 分别加以考虑。

1	对函数 proc_pid_lookup 进行修改: 在步骤a 的末尾添加代码, 用于判断该进程号是否为隐藏进程的进程号, 如果是, 则跳转到我们定制的一个函数, 该函数可打印出? 该进程无法查看?之类的调试信息后返回上层调用者; 如果否, 则照常执行步骤b、c

1

对函数 proc_pid_readdir 进行修改: 在步骤b 中, 当获取一个进程后, 先判断该进程是否为隐藏进程, 如果是则跳转到我们定制的一个函数, 打印出? 该进程无法查看?之类的调试信息后返回上层调用者; 如果否, 则照常执行步骤 b、c。对于进程部分信息的隐藏, 通过文章第 2 部分的分析, 实际上是选择数组 tgid_base_stuff 中哪些节点不被创建的问题, 对它的实现也要包括以下两部分:

1

( 1) 对函数 proc_pident_lookup 进行修改: 在步骤 a 开始前添加代码, 用于判断要创建的节点是否为需隐藏的节点, 如果是, 则跳转到我们定制的一个函数, 打印出? 该节点无法查看?之类的调试信息后返回上层调用者; 如果否, 则照常执行步骤 b。

1

( 2) 对函数 proc_pident_readdir 进行修改: 在步骤 a 的末尾添加代码, 用于判断要创建的节点是否为需隐藏的节点, 如果是, 则跳转到我们定制的一个函数, 打印出? 该节点无法查看?之类的调试信息后转到步骤 c; 如果否, 则照常执行步骤 b、c。

结论

1

进程隐藏是实现进程保护的一种简单可行的方法之一, 虽然可以在从 proc 到 vfs 的各个层次上容易实现对某个进程的隐藏, 但是如果需要对进程部分信息灵活地进行隐藏, 必须在 proc 层准确地找出进程目录以及其下节点生成的关键点, 在这些关键点上来实现进程隐藏。由于 Linux 缺乏模块化的缺点, 在列举目录和查看节点文件时没有统一的入口点, 而这两种对进程信息的访问都会涉及到进程信的生成, 因此, 需要在内核中对每个进程目录或节点文件生成的地方一一做处理。本方法在内核级上分别实现了对进程全部信息以及进程部分信息的隐藏, 如能根据实际需求, 结合一定的隐藏策略, 比如指定某个系统中哪些进程应该被隐藏, 则在实际应用中更具价值。

网络异常排查方法

Windows排查

查看目前的网络连接情况，定位可疑网络连接（结合业务访问排查）

1	netstat -b -n (管理员权限)

通过网络连接进一步确认可疑连接的PID

1

netstat -ano

根据PID确定是那个进程

1

tasklist | findstr xxx

确定此进程的用途以及可否杀死

1

taskkill /T /F /PID 3036

其他

1

若以上几步没有解决，使用PC Hunter（基于XueTr源码重新开发）工具对其进行深度排查

Linux排查

确定系统自身的命令是否被恶意替换，如ls、netstat

1

使用chkrootkit、rkhunter类工具检查下是否存在恶意程序及恶意替换

查看linux自身的网络连接，并定位可疑程序的PID

1

netstat  -antpl

根据pid查找执行文件的及其路径

1

lsof -p PID

进一步排查

1
2

cd /proc/pidnumber
ls -ail

杀掉对应恶意程序或进程

1
2

1 可将/proc/pidnumber 下的恶意程序直接rm –rf
2 根据进程号直接杀死进程 kill -9 pidnumber

其他一些可能用到的命令

1
2
3
4

1 分析access.log获得访问前10位的ip地址
awk '{print $1}' access.log |sort|uniq -c|sort -nr|head -10
2 查看连接某服务端口最多的的IP地址
netstat -nat | grep "192.168.1.15:1234" |awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -nr|head -20

tips

一些框架(工具)

内存取证工具

Volatility Github
介绍：http://www.freebuf.com/articles/system/26763.html

获取木马配置文件

通过python脚本来获取木马中的配置文件，诸如ftp、ssh等信息，反向对黑客进行攻击。目前支持Adwind、Adzok、Albertino Advanced RAT等40多个木马。
RATDecoders Github

远程现场取证的事件应急响应框架

一个被安装在目标系统的Python 代理客户端，可以对Python基础设施进行管理和交流。
GRR Rapid Response Github

隐藏进程检测工具

Linux Rootkit (vfs hook) 是一个linux内核模块，是用于检测rootkit的一个小demo。通过读取此内核模块创建的虚拟文件，可检测通过Hook vfs 函数来隐藏的进程。大家可把他作为一个单一的检测工具，也可以集成到诸如OSSEC等HIDS里，通过周期性任务触发来检测并上报可疑事件。

使用方法：

1 2	照例就是解压之后 编译加载就好。 unzip process_list.zip;cd process_list;make;make install

相关命令

系统：

1
2
3
4
5
6
7
8
9

uname -a     查看内核/操作系统/CPU信息
cat /etc/issue
cat /etc/redhat-release   查看操作系统版本
cat /proc/cpuinfo    查看CPU信息
hostname     查看计算机名
lspci -tv     列出所有PCI设备
lsusb -tv     列出所有USB设备
lsmod      列出加载的内核模块
env      查看环境变量

资源：

1
2
3
4
5
6
7

free -m     查看内存使用量和交换区使用量
df -h      查看各分区使用情况
du -sh <目录名>    查看指定目录的大小
grep MemTotal /proc/meminfo   查看内存总量
grep MemFree /proc/meminfo   查看空闲内存量
uptime     查看系统运行时间、用户数、负载
cat /proc/loadavg    查看系统负载

磁盘和分区：

1
2
3
4
5

mount | column -t    查看挂接的分区状态
fdisk -l     查看所有分区
swapon -s     查看所有交换分区
hdparm -i /dev/hda    查看磁盘参数(仅适用于IDE设备)
dmesg | grep IDE    查看启动时IDE设备检测状况

网络：

1
2
3
4
5
6

ifconfig     查看所有网络接口的属性
iptables -L     查看防火墙设置
route -n     查看路由表
netstat -lntp     查看所有监听端口
netstat -antp     查看所有已经建立的连接
netstat -s     查看网络统计信息

进程：

1
2

ps -ef     查看所有进程
top      实时显示进程状态（另一篇文章里面有详细的介绍）

ps命令可以列出正在运行的进程。以下命令可以列出当前系统上所有正在运行的进程：

1

ps -A

这个命令列出的信息也许太多，不便于查看。你可以使用less命令通过一个管道输出，分页查看：

1	ps -A | less

你也可以使用grep来对来做管道输出，查找出某个进程。例如，查找Firefox进程：

1	ps -A | grep firefox

以树形显示进程

1	pstree命令同样可以显示进程信息，不过它是以树形式显示进程。

pgrep
给定一个搜索关键词，pgrep命令会返回所有匹配这个关键词的进程ID。

1 2	pgrep iceweasel 2074

也可以将这个命令与kill命令结合起来干掉一个特定的进程

1 2	➜ ~ kill $(pgrep iceweasel) ➜ ~

或者使用

1
2

➜  ~  pkill iceweasel
➜  ~

用户：

1
2
3
4
5
6

w      查看活动用户
id <用户名>     查看指定用户信息
last      查看用户登录日志
cut -d: -f1 /etc/passwd   查看系统所有用户
cut -d: -f1 /etc/group   查看系统所有组
crontab -l     查看当前用户的计划任务

服务：

1
2

chkconfig –list    列出所有系统服务
chkconfig –list | grep on   列出所有启动的系统服务

程序：

1

rpm -qa     查看所有安装的软件包

相关文章

Linux入侵取证：从一次应急事件讲起
Linux下基于内存分析的Rootkit检测方法
如何分析 Linux 日志

新建http服务

1
2
3
4
5
6
7
8
9
10
11

var http = require('http');
http.createServer(function (request, response)  {
    response.writeHead(200, {'Content-Type': 'text/html; charset=utf-8'});
    if(request.url!=="/favicon.ico"){
        console.log('访问');
        response.write('hello,world');
        response.end("response.end");
    }
}).listen(8000);
console.log("Server running at http://127.0.0.1:8000/");

使用function

目录结构

tp@V:/mnt/d/Node.js$ tree
.
├── hello.js
├── models
│ └── otherfuns.js
└── n2_funcall.js
n2_funcall.js

1
2
3
4
5
6
7
8
9
10
11
12
13

var http = require('http');
var otherfun = require("./models/otherfuns.js");
http.createServer(function (request, response){
		response.writeHead(200, {'Content-Type': 'text/html; charset=utf-8'});
	if(request.url!=="/favicon.ico"){
		otherfun['fun3'](response);
		otherfun['fun2'](response);//也可以用otherfun.fun2(response)
		response.end("response.end");
	}
}).listen(8000);
console.log("Server running at http://127.0.0.1:8000/");

otherfuns.js

1
2
3
4
5
6
7
8
9
10

module.exports={
	fun2:function(res){
		console.log("我是fun2");
		res.write("Hello, I am fun2");
	},
	fun3:function(res){
		console.log("I am fun3");
		res.write("Hello, I am fun3");
	}
}

效果

使用模块

models/User.js

1
2
3
4
5
6
7
8
9

function User(id, name, age){
	this.id=id;
	this.name=name;
	this.age=age;
	this.enter=function(){
		console.log(this.name+"进入图书馆");
	}
}
module.exports = User;

models/Teacher.js

1 2 3 4 5 6 7 8 9 10 11

var User = require('./User'); function Teacher(id,name,age){ User.apply(this,[id,name,age]); this.teach=function(res){ res.write(this.name+"讲课"); } } module.exports = Teacher; ```JavaScript >n3_modelcall.js

var http = require(‘http’);

// var User = require(“./models/User”);
var Teacher = require(“./models/Teacher”)

http.createServer(function (request, response){
response.writeHead(200, {‘Content-Type’: ‘text/html; charset=utf-8’});
if(request.url!==”/favicon.ico”){
//funname = ‘fun3’;
teacher = new Teacher(1,’我来’,18);
// user.id =1;
// user.name=’我来’;
// user.age=18;
teacher.enter();
teacher.teach(response);
response.end(“response.end”);
}

}).listen(8000);
console.log(“Server running at http://127.0.0.1:8000/“);

1
2
3
4
5
6
7
8
9
10
11
12
13
14

![](https://ww2.sinaimg.cn/large/006tNc79gy1fdtdb7fgu8j30b8058gln.jpg)
# 使用路由
>models/route.js
```JavaScript
module.exports={
	login:function(req, res){
		res.write("I am login module.");
	},
	admin:function(req, res){
		res.write("I am admin module.");
	}
}

n4_rout.js

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

var http = require('http'); var url = require('url'); var router = require('./models/route'); http.createServer(function (request, response){ response.writeHead(200, {'Content-Type': 'text/html; charset=utf-8'}); if(request.url!=="/favicon.ico"){ var pathname = url.parse(request.url).pathname; pathname = pathname.replace(/\//, ''); console.log(pathname); router[pathname](request, response); response.end("response.end"); } }).listen(8000); console.log("Server running at http://127.0.0.1:8000/");

读文件

models/route.js

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

var optfile = require('./optfile');
module.exports={
	login:function(req, res){
		function recall(data){
			res.write(data);
			res.end(" ");
		}
		optfile.readfile('./views/login.html', recall);
	},
	admin:function(req, res){
		function recall(data){
			res.write(data);
			res.end(" ");
		}
		optfile.readfile('./views/admin.html', recall);
	}
}

models/optfile.js

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

var fs = require('fs'); module.exports = { readfileSync:function(path){//同步读取 var data = fs.readFileSync(path, 'utf-8'); console.log(data); console.log('同步方法执行完毕'); }, readfile:function(path, recall){//异步读取 fs.readFile(path, function(err, data){ if(err){ console.log(err); }else{ console.log(data.toString()); recall(data); } }); console.log('异步方法执行完毕'); } }

n5_readfile.js

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

var http = require('http'); var url = require('url'); var router = require('./models/route'); //var optfile = require('./models/optfile'); http.createServer(function (request, response){ response.writeHead(200, {'Content-Type': 'text/html; charset=utf-8'}); if(request.url!=="/favicon.ico"){ var pathname = url.parse(request.url).pathname; pathname = pathname.replace(/\//, ''); console.log(pathname); router[pathname](request, response); } }).listen(8000); console.log("Server running at http://127.0.0.1:8000/");

views/login.html

1	This is login page.

views/admin.html

1	This is admin page.

写文件

models/optfile.js

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

var fs = require('fs'); module.exports = { writefile:function(path, data, recall){//异步方式 fs.writeFile(path, data, function (err){ if (err){ throw err; } console.log('It\'s Saved!');//文件被保存 recall("write file success."); }); }, writeFileSync:function(path, data){//同步方式 fs.writeFileSync(path, data); console.log("同步写文件完成"); } }

models/route.js

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

var optfile = require('./optfile'); module.exports={ login:function(req, res){ function recall(data){ res.write(data); res.end(" "); } optfile.readfile('./views/login.html', recall); }, admin:function(req, res){ function recall(data){ res.write(data); res.end(" "); } optfile.readfile('./views/admin.html', recall); }, writefile:function(req, res){ function recall(data){ res.write(data); res.end(" "); } optfile.writefile('./views/test.txt', 'write file ok1.', recall); } }

n6_writefile.js

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

var http = require('http'); var url = require('url'); var router = require('./models/route'); //var optfile = require('./models/optfile'); http.createServer(function (request, response){ response.writeHead(200, {'Content-Type': 'text/html; charset=utf-8'}); if(request.url!=="/favicon.ico"){ var pathname = url.parse(request.url).pathname; pathname = pathname.replace(/\//, ''); console.log(pathname); router[pathname](request, response); } }).listen(8000); console.log("Server running at http://127.0.0.1:8000/");

读取图片

models/optfile.js
仅能显示图片

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

var fs = require('fs'); module.exports = { readImg:function(path, res){ fs.readFile(path, 'binary', function(err, file){ if (err){ console.log(err); return; }else{ console.log('输出文件'); res.write(file, 'binary'); res.end(); } }); } }

n7_readimg.js

1 2 3 4 5 6 7 8 9 10 11 12 13 14

var http = require('http'); var optfile = require('./models/optfile'); http.createServer(function (request, response){ response.writeHead(200, {'Content-Type': 'image/jpeg'}); if(request.url!=="/favicon.ico"){ console.log('访问'); optfile.readImg('./images/1.png', response); console.log("move on"); } }).listen(8000); console.log("Server running at http://127.0.0.1:8000/");

路由改造

models/optfile.js
可显示文本和图片

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40

var fs = require('fs'); module.exports = { writefile:function(path, data, recall){//异步方式 fs.writeFile(path, data, function (err){ if (err){ throw err; } console.log('It\'s Saved!');//文件被保存 recall("write file success."); }); }, writeFileSync:function(path, data){//同步方式 fs.writeFileSync(path, data); console.log("同步写文件完成"); }, readImg:function(path, res){ fs.readFile(path, 'binary', function(err, file){ if (err){ console.log(err); return; }else{ console.log('输出文件'); res.write(file, 'binary'); res.end(); } }); }, readfile:function(path, recall){//异步读取 fs.readFile(path, function(err, data){ if(err){ console.log(err); }else{ console.log(data.toString()); recall(data); } }); console.log('异步方法执行完毕'); }, }

models/route.js

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

var optfile = require('./optfile');
function getRecall(req, res){
	res.writeHead(200, {'Content-Type': 'text/html; charset=utf-8'});
	function recall(data){
		res.write(data);
		res.end(" ");
	}
	return recall;
}
module.exports={
	login:function(req, res){
		recall = getRecall(req, res);
		optfile.readfile('./views/login.html', recall);
	},
	admin:function(req, res){
		function recall(data){
			res.write(data);
			res.end(" ");
		}
		optfile.readfile('./views/admin.html', recall);
	},
	writefile:function(req, res){
		function recall(data){
			res.write(data);
			res.end(" ");
		}
		optfile.writefile('./views/test.txt', 'write file ok1.', recall);
	},
	showimg:function(req, res){
		res.writeHead(200, {'Content-Type': 'image/jpeg'});
		optfile.readImg('./images/1.png', res);
	}
}

n8_routhtml.js

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

var http = require('http'); var url = require('url'); var router = require('./models/route'); http.createServer(function (request, response){ if(request.url!=="/favicon.ico"){ var pathname = url.parse(request.url).pathname; pathname = pathname.replace(/\//, ''); console.log(pathname); router[pathname](request, response); } }).listen(8000); console.log("Server running at http://127.0.0.1:8000/");

基本操作

基本查询

以更美观的方式输出

1

db.number.find().pretty()

条件查询

条件操作符

1
2
3
4

(>) 大于 - $gt
(<) 小于 - $lt
(>=) 大于等于 - $gte
(<= ) 小于等于 - $lte

比如查询uid大于100的一些记录

1

db.sedb.find({uid:{$gt:100}})

判断字段是否存在

1
2
3
4
5
6
7
8
9
10
11

查询所有存在age字段的记录
db.users.find({age: {$exists: true}});
查询所有不存在name字段的记录
db.users.find({name: {$exists: false}});
# 比如
db.sedb.count({'username':"%",uid:{$gt:100},email:{$exists:false}})

判断字段值是否为空

1

db.social.find({'email':{$ne:""}}).pretty()

获取数据库的所有聚合名称

1
2

> db.getCollectionNames();
[ "phone_number", "system.indexes" ]

统计数据库特定聚合所有记录数量

1
2

db.phone_number.count()
16119524

获取数据库特定聚合的索引

比如获取phone_number聚合的所有索引

1 2 3 4 5 6 7 8 9 10 11

> db.phone_number.getIndexes() [ { "v" : 1, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "blacklist.phone_number" } ]

添加索引

为phone_number的phone字段添加索引

1 2 3 4 5 6 7

> db.phone_number.ensureIndex({"phone":1}) { "createdCollectionAutomatically" : false, "numIndexesBefore" : 1, "numIndexesAfter" : 2, "ok" : 1 }

再查看索引情况验证一下

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

> db.phone_number.getIndexes() [ { "v" : 1, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "blacklist.phone_number" }, { "v" : 1, "key" : { "phone" : 1 }, "name" : "phone_1", "ns" : "blacklist.phone_number" } ]

分组查询group count

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

> db.phone.aggregate([{$group:{_id:"$source", num_tutorial:{$sum:1}}}])
{ "_id" : "youm", "num_tutorial" : 449 }
{ "_id" : "tianma168", "num_tutorial" : 349 }
{ "_id" : "dingdkj", "num_tutorial" : 3259 }
{ "_id" : "ypyun", "num_tutorial" : 10192 }
{ "_id" : "ilezan", "num_tutorial" : 43685 }
{ "_id" : "ism168", "num_tutorial" : 2856 }
{ "_id" : "iyylw", "num_tutorial" : 16284 }
{ "_id" : "iqiyi", "num_tutorial" : 1 }
{ "_id" : "xudan123.com", "num_tutorial" : 74808 }
{ "_id" : "vim6", "num_tutorial" : 26927 }
{ "_id" : "yzm1", "num_tutorial" : 449854 }
{ "_id" : "feiq", "num_tutorial" : 46670 }
{ "_id" : "83r.com", "num_tutorial" : 144898 }
{ "_id" : "maz8", "num_tutorial" : 81461 }
{ "_id" : "kuaima9", "num_tutorial" : 138903 }
{ "_id" : "bmyzm", "num_tutorial" : 6015 }
{ "_id" : "sunvarma.com", "num_tutorial" : 45164 }
{ "_id" : "ema6", "num_tutorial" : 54819 }
{ "_id" : "yma0.com", "num_tutorial" : 417669 }
{ "_id" : "creditease", "num_tutorial" : 101747 }

如果需要排序的话

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

> db.phone.aggregate([{$group:{_id:"$source", count:{$sum:1}}},{$sort:{"count":-1}}]) { "_id" : "other", "count" : 6133225 } { "_id" : "ly.com", "count" : 5235378 } { "_id" : "zmyzm.com", "count" : 1038465 } { "_id" : "f02.cn", "count" : 644959 } { "_id" : "shjmpt.com", "count" : 502440 } { "_id" : "yzm1", "count" : 449854 } { "_id" : "yma0.com", "count" : 417669 } { "_id" : "6yzm.com", "count" : 297152 } { "_id" : "taomapt.com", "count" : 187613 } { "_id" : "83r.com", "count" : 144898 } { "_id" : "kuaima9", "count" : 138903 } { "_id" : "creditease", "count" : 101747 } { "_id" : "tongdun", "count" : 95012 } { "_id" : "aliqin", "count" : 87845 } { "_id" : "maz8", "count" : 81461 } { "_id" : "xudan123.com", "count" : 74808 } { "_id" : "ema6", "count" : 54819 } { "_id" : "feiq", "count" : 46670 } { "_id" : "sunvarma.com", "count" : 45164 } { "_id" : "yayayama.com", "count" : 44941 }

MongoDB 唯一索引自动删除重复记录

1
2
3
4
5
6

coll.ensureIndex({productid:1}) // 在productid上建立普通索引
coll.ensureIndex({district:1, plate:1}) // 多字段索引
coll.ensureIndex({productid:1}, {unique:true}) // 唯一索引
coll.ensureIndex({productid:1}, {unique:true, dropDups:true}) // 建索引时，如果遇到索引字段值已经出现过的情况，则删除重复记录
coll.getIndexes() // 查看索引
coll.dropIndex({productid:1}) // 删除单个索

Python 相关

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

import requests
import json
from datetime import datetime
from pymongo import MongoClient
'''连接到mongodb数据库'''
# 使用默认链接
client = MongoClient()
# 数据库名为gznu_all_student_info
db = client.gznu_all_student_info
# 数据库中相关表记录
# 学院相关信息
college_collection = db.college
# 班级相关信息
class_collection = db.class_
all_class_collection = db.all_class
# 学生信息
students_collection = db.students
def _save_class_code(url, college_code):
    '''将班级信息保持到数据库中'''
    print '[*] 正在将班级{}信息保存到数据库中'.format(college_code)
    info = get_info(url)
    for i in json.loads(info):
        for j in i['children']:
            item = {}
            item['class_code'] = j['id']
            item['text'] = j['text']
            item['college_code'] = college_code
            item['update'] = datetime.now()
            class_collection.insert(item)

mongodb.config

1
2
3
4
5
6
7
8

port=27017
dbpath=/data/db/
fork=true
logpath=/data/logs/mongodb.log
logappend=true
noauth=true
nohttpinterface=true
rest=false

导入json文件数据

将json数据导入到blacklist的phone_number集合中

1

mongoimport -h 127.0.0.1 -d blacklist -c phone_number --file blacklist3.json

多实例配置

如果想同一台机器跑多个MongoDB，则在启动Mongo的时候指定不同的端口即可，如

1
2
3
4
5

# 第一个Mongo
  /dat0/mongodb/bin/mongod --dbpath=/data/db/ --fork --logpath=/data/logs/mongodb.log
# 第二个Mongo
/dat0/mongodb/bin/mongod --port 27018 --dbpath=/data/data1.5t/mongodb/ --fork --logpath=/data/logs/mongodb-1.5t.log

要使用第二个Mongo，加上端口就好

1
2
3
4

➜  ~ mongo --port 27018
MongoDB shell version: 3.2.9
connecting to: 127.0.0.1:27018/test
Server has startup warnings:

常见远程管理工具方式

1
2
3
4

RDP: remote desktop protocol 协议，Windows远程桌面管理
telnet: CLI 界面下的远程管理，几乎所有操作系统都有，不过内容是明文传送
SSH: secure shell CLI界面下的远程管理，几乎所有操作系统都有，内容加密传送，类UNIX系统下主要的远程管理方式(Linux BSD MaxOS X)
RFB remote framebuffer,图形化远程管理协议，VNC--Virtual Network Computing 使用的协议，主要为类UNIX系统下主要的图形化远程管理方式

SELinux

Secure Enhandced Linux 安全增强Linux是由NSA针对及时基础结构安全开发的一个全新的Linux安全策略机制。SELinux允许管理员更加灵鹤的定义安全策略。
SELinux是一个内核级的安全机制，从2.6内核之后集成在内核当中，对其修改一般需要去重启才能生效

基本概览

所有的安全机制都是对两样东西做出限制：进程和系统资源(文件、网络套接字、系统调用等)。

1
2
3

SELinux针对这两种类型定义了两个基本概念：域(domain)和上下文(context)
前者针对进程进行限制
后者针对系统资源进行限制

ps -Z可以查看进程的域
ls -Z 可以查看文件的上下文信息

RAID

现代硬盘的缺陷 IO性能极弱 稳定性极差
RAID廉价磁盘冗余阵列技术是通过多磁盘并行运行来提高计算机的存储IO性能
RAID分为很多种类，称之为RAID级别，

1
2
3
4

RAID 0  读写性能
RAID 1 读取性能、冗余性
RAID 5 读写性能、冗余性(1块硬盘)
RAID 6 读写性能、冗余性(2块硬盘)

1
2
3
4
5
6
7
8
9

apt-get install network-manager-openvpn-gnome
apt-get install network-manager-pptp
apt-get install network-manager-pptp-gnome
apt-get install network-manager-strongswan
apt-get install network-manager-vpnc
apt-get install network-manager-vpnc-gnome
/etc/init.d/network-manager restart
如果连接不上请注意VPN协议，连接PPTP协议可以试试将高级——使用点对点加密和发送PPP回响包勾选。

Kali 2.0源列表

1
2

deb http://http.kali.org/kali sana main non-free contrib
deb http://security.kali.org/kali-security sana/updates main contrib non-free

常见的网络监控模式可以分为两种

一种是旁路监控模式
另一种是串联监控模式。

1

“旁路监控模式”一般是指通过交换机等网络设备的“端口镜像”功能来实现监控，在此模式下，监控设备只需要连接到交换机的指定镜像端口，所以形象的称之为“旁路监控”。

1

而串联模式一般是通过网关、网桥或者代理服务器的模式来进行监控，由于监控设备做为网关或者网桥串联在网络中，所以称之为“串联监控模式”。

旁路模式的优缺点

优点：

1 2 3

旁路监控模式部署起来比较灵活方便，只需要在交换机上面配置镜像端口即可。不会影响现有的网络结构。而串联模式一般要作为网关、网桥或者代理服务器，所以需要对现有网络结构进行变动。 旁路模式分析的是镜像端口拷贝过来的数据，对原始传递的数据包不会造成延时，不会对网速造成任何影响。而串联模式是串联在网络中的，那么所有的数据必须先经过监控系统，通过监控系统的分析检查之后，才能够发送到各个客户端，所以会对网速有一定的延时。 旁路监控设备一旦故障或者停止运行，不会影响现有网络。而串联监控设备如果出现故障，会导致网络中断。

缺点：

1 2	需要交换机或者路由支持“端口镜像”功能才可以实现监控。 旁路模式采用发送RST包的方式来断开TCP连接，不能禁止UDP通讯。对于UDP应用，一般还需要在路由器上面禁止UDP端口进行配合。而串联模式不存在该问题。

串联模式的优缺点

优点：

1 2	利用windows自带的“网关”、“网桥”功能即可实现，不需要硬件设备的支持。 可以禁止UDP通讯数据包。

缺点：

1 2 3

需要更改现有的网络结构。 与“旁路监控”相比较，“网关”、“网桥”的配置更加复杂些。 由于是串联模式，当局域网电脑台数多时，对网速有少许的影响。这个主要取决于电脑的硬件配置。

交换机镜像端口配置

用户模式：查看初始化相关信息
特权模式：查看所有信息、调试、保持配置信息
全局模式：配置所有信息、针对整个路由器或交换机的所有接口
接口模式：针对某一个接口的配置
线控模式：对路由器进行控制的接口配置

1
2
3
4
5
6
7

sw-1#show monitor      检查是否已存在镜像的配置
sw-1#conf t                    进入全局模式
sw-1<config>#monitor session 2 source int f0/12 both         监控端口f0/12（外网口或叫被镜像端口）  both代表双向监听数据   rx代表接收数据   tx代表发送数据
sw-1<config>#monitor session 2 destination int f0/24         把信息复制到f0/24（镜像端口）
sw-1<config>#end        返回
sw-1#show monitor session 2
把F0/12 进来的出去的数据复制一份给F0/24，这样我们在晟为就可以截取到数据了。

安装vsftpd

1

yum install vsftpd

设置开机启动

1

chkconfig vsftpd on

启动服务

1

service vsftpd start

添加用户组和用户

1

groupadd ftp

mkdir /srv/ftp/test

1	useradd -g ftp -M -d /srv/ftp/test -s /sbin/nologin test

-g接的是用户组
-M表示不设置它的主目录，假设如果没有-M，则在/home下会有跟用户名(zhujin)一样的目录。
-d后面接的是用zhujin登陆FTP的时候，它的初始目录。
-s 后面接/sbin/nologin表示用户不需要登录系统，因为我们只需要用来登陆FTP
zhujin表示用户名了

1

passwd test

修改目录权限

1
2

chown -R test:ftp /srv/ftp/test
/etc/init.d/vsftpd restart

相关安全设置

防止跨目录
在/etc/vsftpd/vsftpd.conf 下添加

1
2

chroot_list_enable=YES
chroot_list_file=/etc/vsftpd/chroot_list

把想要限制的用户写入/etc/vsftpd/chroot_list文件中再重启vsftp服务即可

禁止匿名登录

1

anonymous_enable=NO

思路

使用一个ubuntu，配置好ssh服务再打包成image

使用commit构建

构建镜像

docker run -it ubuntu:14.04 /bin/bash
更新镜像并安装ssh-server

1 2	apt-get updte apt-get install openssh-server

配置ssh

1
2

mkdir -p /var/run/sshd
/usr/sbin/sshd -D &

检查ssh是否运行成功的命令

1	netstat -tunlp

pam登录限制
vim /etc/pam.d/sshd

1 2	注释掉 session required pam_loginuid.so的

如果要使用密码进行ssh认证的话
vim /etc/ssh/sshd_config
取消注释

1	PasswordAuthentication yes

使用密钥认证的话
在auchorized_keys文件中写入ssh client的id_rsa.pub内容

1 2	mkdir /root/.ssh vi /root/.ssh/auchorized_keys

创建自动启动SSH脚本

1
2

vi /run.sh
chmod +x run.sh

文件内容

1 2	#!/bin/bash /usr/sbin/sshd -D

退出容器

保存镜像

1	docker commit eb6bf1856445 sshd:ubuntu2

查看生成的镜像

1 2 3

➜ .ssh docker images sshd:ubuntu2 REPOSITORY TAG IMAGE ID CREATED SIZE sshd ubuntu2 d9a07f6fd3f8 34 minutes ago 283.6 MB

使用SSH Server镜像

1

docker run -p 10000:22 -d sshd:ubuntu2 /run.sh

镜像启动成功

使用密码登录成功

使用密钥登录成功

使用Dockerfile构建

在宿主主机中创建相关文件

1
2
3

mkdir test_ssh_in_docker
cd test_ssh_in_docker
touch Dockerfile run.sh

cat run.sh

1
2

vi /run.sh
chmod +x run.sh

cat Dockerfile

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

➜  test_ssh_in_docker cat Dockerfile
FROM ubuntu:14.04
MAINTAINER by tp.
RUN apt-get -qq update -y
#install SSH-Server
RUN apt-get -qq install openssh-server -y
RUN mkdir -p /var/run/sshd
RUN mkdir -p /root/.ssh
RUN sed -ri 's/session required pam_loginuid.so/#session required pam.loginuid.so/g' /etc/pam.d/sshd
#copy ssh server config file
ADD authorized_keys /root/.ssh/authorized_keys
ADD run.sh /run.sh
RUN chmod 755 /run.sh
#open ssh port
EXPOSE 22
#start sshd server
CMD ["/run.sh"]

目录下所有文件

1 2	➜ test_ssh_in_docker ls authorized_keys Dockerfile run.sh

build镜像
➜ test_ssh_in_docker docker build -t sshd:dockerfile3 .

创建容器并SSH
docker run -d -p 10244:22 sshd:dockerfile3
ssh 127.0.0.1 -p 10244