一、总述
Inception是集审核、执行、回滚于一体的一个自动化运维系统，它是根据MySQL代码修改过来的，用它可以很明确的，详细的，准确的审核MySQL的SQL语句，它的工作模式和MySQL完全相同，可以直接使用MySQL客户端来连接，但不需要验证权限，它相对应用程序（上层审核流程系统等）而言，是一个服务器，在连接时需要指定服务器地址及Inception服务器的端口即可，而它相对要审核或执行的语句所对应的线上MySQL服务器来说，是一个客户端，它在内部需要实时的连接数据库服务器来获取所需要的信息，或者直接在在线上执行相应的语句及获取binlog等，Inception就是一个中间性质的服务。
Inception提供的功能很丰富，首先，它可以对提交的所有语句的语法分析，如果语法有问题，都会将相应的错误信息返回给审核者。 还提供语义分析，当一个表，库，列等信息不正确或者不符合规范的时候报错，或者使用了一个不存在的对象时报错等等。 还提供了很多针对SQL规范性约束的功能，这些DBA都是可以通过系统参数来配置的。 更高级的功能是，可以辅助DBA分析一条查询语句的性能，如果没有使用索引或者某些原因导致查询很慢，都可以检查。
还提供SQL语句的执行功能，可执行的语句类型包括常用的DML及DDL语句及truncate table等操作。 Inception 在执行 DML 时还提供生成回滚语句的功能，对应的操作记录及回滚语句会被存储在备份机器上面，备份机器通过配置Inception参数来指定。
Yearning 是基于Inception的web可视化SQL审核平台,其本身只提供可视化交互页面并不具备sql审核的能力。所以必须搭配Inception一起使用。
二、搭建Inception
1、安装依赖包
#yum -y install gcc gcc-c++ cmake openssl-devel ncurses-devel MySQL-python git m4
#cd /usr/local/src
#wget http://ftp.gnu.org/gnu/bison/bison-2.5.1.tar.gz
#tar xf bison-2.5.1.tar.gz
#cd bison-2.5.1
#./configure
#make
#make install
2、安装mysql服务
#rpm -ivh http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
#yum -y install mysql-community-server
#systemctl start mysql
3、安装inception
#cd /app/
#git clone https://github.com/mysql-inception/inception.git
#cd /app/inception
#bash inception_build.sh debug
#mkdir /app/inception/{conf,log,sqls}
4、配置inception
# vi /app/inception/conf/inc.cnf
[inception]
general_log=1
general_log_file=/app/inception/log/inception.log
port=6669
socket=/tmp/inc.socket
character-set-client-handshake=0
character-set-server=utf8
inception_remote_system_password=
inception_remote_system_user=root
inception_remote_backup_port=3306
inception_remote_backup_host=localhost
inception_support_charset=utf8mb4
inception_enable_nullable=0
inception_check_primary_key=1
inception_check_column_comment=1
inception_check_table_comment=1
inception_osc_min_table_size=1
inception_osc_bin_dir=/usr/bin
inception_osc_chunk_time=0.1
inception_enable_blob_type=1
inception_check_column_default_value=1
5、启动inception
#nohup /app/inception/debug/mysql/bin/Inception --defaults-file=/app/inception/conf/inc.cnf &
6、验证inception
#mysql -uroot -h127.0.0.1 -P6669
mysql> inception get variables;
#vi /app/inception/sqls/inception.py
#!/usr/bin/python
#-\*-coding: utf-8-\*-
import MySQLdb
sql='/*--user=root;--password=;--host=127.0.0.1;--execute=1;--port=3306;*/\
inception_magic_start;\
use mysql;\
CREATE TABLE adaptive_office(id int);\
inception_magic_commit;'
try:
conn=MySQLdb.connect(host='127.0.0.1',user='',passwd='',db='',port=6669)
cur=conn.cursor()
ret=cur.execute(sql)
result=cur.fetchall()
num_fields = len(cur.description)
field_names = [i[0] for i in cur.description]
print field_names
for row in result:
print row[0], "|",row[1],"|",row[2],"|",row[3],"|",row[4],"|",row[5],"|",row[6],"|",row[7],"|",row[8],"|",row[9],"|",row[10]
cur.close()
conn.close()
except MySQLdb.Error,e:
print "Mysql Error %d: %s" % (e.args[0], e.args[1])
#python /app/inception/sqls/inception.py
三、搭建Yearning
1、安装nginx
#rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
#yum -y install nginx
2、安装python3.6
#cd /usr/local/src/
#wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tar.xz
#tar -xf Python-3.6.4.tar.xz
#mkdir -p /usr/local/python/3.6.4/lib
#cd Python-3.6.4
#./configure --enable-shared --prefix=/usr/local/python/3.6.4 LDFLAGS="-Wl,-rpath /usr/local/python/3.6.4/lib"
#make
#make install
3、建立数据库
#mysql
mysql> create database Yearning DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
4、Yearning下载
#cd /app/
#git clone https://github.com/cookieY/Yearning.git
5、Yearning配置
#vi /app/Yearning/src/deploy.conf
[mysql]
db = Yearning
address = 127.0.0.1
port = 3306
username = root
password =
[host]
ipaddress = 192.168.0.108:80
[Inception]
ip = 127.0.0.1
port = 6669
user = root
password =
backupdb = 127.0.0.1
backupport = 3306
backupuser = root
backuppassword =
[LDAP]
LDAP_SERVER =
LDAP_SCBASE =
LDAP_DOMAIN =
LDAP_TYPE = 1
[email]
username =
password =
smtp_server =
smtp_port =
[sql]
limit = 100
[webhook]
dingding =
6、安装python依赖库
#cd /app/Yearning/src/
#/usr/local/python/3.6.4/bin/pip3 install -r requirements.txt
7、初始化数据库
#/usr/local/python/3.6.4/bin/python3 manage.py makemigrations core && /usr/local/python/3.6.4/bin/python3 manage.py migrate core
8、初始化用户
#echo "from core.models import Account;Account.objects.create_user(username='admin', password='20151012', group='admin',is_staff=1)" | /usr/local/python/3.6.4/bin/python3 manage.py shell
#echo "from core.models import grained;grained.objects.get_or_create(username='admin', permissions={'person': [], 'ddl': '1', 'ddlcon': [], 'dml': '1', 'dmlcon': [], 'dic': '1', 'diccon': [], 'dicedit': '0', 'user': '1', 'base': '1', 'dicexport': '0'})" | /usr/local/python/3.6.4/bin/python3 manage.py shell
9、复制编译好的静态文件到nginx html目录下
#cp -rf /app/Yearning/webpage/dist/* /usr/share/nginx/html/
# systemctl start nginx
10、启动django
#cd /app/Yearning/src/
#nohup /usr/local/python/3.6.4/bin/python3 manage.py runserver 0.0.0.0:8000 &
11、注意事项
默认超级管理用户只拥有管理页面的访问权限,其他的权限需自行增加！详情请查看使用说明用户管理
由于Inception 并不原生支持pymysql，所以需更改pymysql相关源码
注: 在install 文件夹下有已经修改的connections.py 和 cursors.py 直接替换即可
#cp /app/Yearning/install/connections.py /usr/local/python/3.6.4/lib/python3.6/site-packages/pymysql/
#cp /app/Yearning/install/cursors.py /usr/local/python/3.6.4/lib/python3.6/site-packages/pymysql/
或直接修改 $PYTHON_HOME/lib/python3.6/site-packages/pymysql下
connections.py 和 cursors.py 两个文件
找到 connections.py 1108行
ifint(self.server_version.split('.',1)[0]) >=5:self.client_flag|= CLIENT.MULTI_RESULTS
更改为
try:ifint(self.server_version.split('.',1)[0]) >=5:self.client_flag |= CLIENT.MULTI_RESULTSexcept:ifself.server_version.split('.',1)[0] >='Inception2':self.client_flag |= CLIENT.MULTI_RESULTS
找到 cursors.py 345行
ifself._resultand(self._result.has_nextornotself._result.warning_count):return
更改为
ifself._result:return
12、访问Yearning
http://192.168.0.108
