flexviews是创建MySQL物化视图比较经济和易于实现的方式,但是网上资料较少,尤其是配置部分,原作者整理的资料和文档也比较旧,而且以linux,php5.x环境为主。由于MySQL for Windows已经很普及,于是尝试在Windows环境进行使用。终于在 windows 10/windows server 2008下,php 5.x, mariadb 10+ /mysql 8下测试通过,使用中遇到的问题和需要修改的细节也有不少,也凭着点运气得以解决,特此总结,以免新上手踩坑走弯路。
flexviews是采用php 5.x开发的,并且使用文档不够完善和详细,所以需要些php的配置经验,甚至需要了解 php具体的程序,这也许是限制它推广的一个障碍,幸好php运行环境的基本配置不复杂。
1、下载
swanhart-tools/flexviews at master · greenlion/swanhart-tools · GitHub
2、根据需要下载更新代码,
根据需要,覆盖上述程序中相应的几个程序文件,以满足新环境的需要,尤其是UTF8和mysql 8等环境要求。
3、安装php,php-mysqli ,php-pear,配置 php.ini ,建议先安装在C:\php下,这里不详述。
4、安装和配置MySQL服务器,修改配置参数,须支持binlog日志,这里不详述。
这里给出windows 下的MySQL基本配置情况
5、配置flexviews,一定要在flexviews文件夹下进行配置。
(1)安装相应的flexviews数据库
cd flexviews
mysql -uroot -p 登录数据库
source ./install.sql
由于开发和配置是针对的MySQL版本较低,使用新版MySQL运行期间如果发生错误,则依据错误做相应的检查和调整,参照注意事项(1)(2)(3)。
(2)cd flexviews/consumer
php setup_flexcdc.php
(3)以上2步可能需要多次循环执行,会提示不存在对应的数据表等错误信息。
6、参照
Flexviews-MySQL物化视图 (linuxmysql.com)
注意以下介绍中有些方法已过时,没有更新,由于是作者亲自写的,仍是最好的讲解。
Using Flexviews - part one, introduction to materialized views (percona.com)
Using Flexviews - part two, change data capture (percona.com)
Flexviews - part 3 - improving query performance using materialized views (percona.com)
7、注意事项
(1)mariadb 不支持如下参数,并且flexviews也不支持,
[mysqld]
gtid-mode=on
enforce-gtid-consistency=true
(2)MySQL 8下 install_schema.sql 创建用户改为CREATE USER 'flexviews'@'localhost' IDENTIFIED BY 'flexdemo';
[mysqld]
default_authentication_plugin = mysql_native_password
另外注意,如果用root账户进行连接操作,则root也要按此方式定义加密方式,如果不是则重新修改root的加密方式,否则php 5 mysqli_connect()报错。
(3)MySQL 8下,导入数据需要配置相应的参数
set global local_infile=1
或者在mysql 配置文件中增加:
[mysqld]
local_infile=ON
然后重新启动 mysql。
在客户端启动时需加参数:
mysql --local-infile=1 -uroot -p
(4)生成物化视图的命令 convert.php在 Windows cmd下可以输出转换后的结果,但是有些语句由于环境因素不能输出完整结果;但是在 powershell下不行,powershell不支持“<”管道符;
convert2.php经过修改可以正常使用,并且可以在powershell下运行。具体用法convert2.php --schema=<SCHEMA> --sql_file=<SQL FILE> Where SCHEMA is the name of the database and sql_file is the name of the sql file to be convert to flexviews statements。
在windows下如果运行Git Bash下,可能会提示 stdout is not a tty 的解决办法,先进入 bash,再次运行相应的命令。
注意convert-i.php不能用于复杂物化视图的语句生成,是实验性的修改。
(5)运行run_consumer.php,只支持MySQL server UTF8,不支持UTF8mb4。
需要读取默认的consumer.ini或者通过--ini=myconsumer.ini指定配置文件,其中[source]和[dest]可以不是本地MySQL数据库,而且[source]和[dest]也可以是不同地址的MySQL数据库,这是非常有用的技术,即flexviews可以单独运行在一台机器上或者docker上。
在windows server 2008下运行run_consumer.php无法解析和执行binlog中的语句,只能在 Windows 10下通过--ini指定配置文件(如上所述),获取和执行远程数据库binlog日志。
(6)执行CALL flexviews.refresh(1,"BOTH",null)刷新物化视图时,报错:Error Code:1175. You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column. To disable safe mode, toggle the option in Preferences -> SQL Editor and reconnect. 1.484 sec
须要先执行SET SQL_SAFE_UPDATES = 0;
最好将”SET SQL_SAFE_UPDATES = 0;“加到 procedure flexviews.refresh和flexviews.refrsh_all中。
其他可参照mysql 8/mariadb 10下使用flexviews创建物化视图基础配置详解 - 简书 (jianshu.com)