windows下使用flexviews创建MySQL物化视图基础配置详解

       flexviews是创建MySQL物化视图比较经济和易于实现的方式,但是网上资料较少,尤其是配置部分,原作者整理的资料和文档也比较旧,而且以linux,php5.x环境为主。由于MySQL for Windows已经很普及,于是尝试在Windows环境进行使用。终于在 windows 10/windows server 2008下,php 5.x, mariadb 10+ /mysql 8下测试通过,使用中遇到的问题和需要修改的细节也有不少,也凭着点运气得以解决,特此总结,以免新上手踩坑走弯路。 

        flexviews是采用php 5.x开发的,并且使用文档不够完善和详细,所以需要些php的配置经验,甚至需要了解 php具体的程序,这也许是限制它推广的一个障碍,幸好php运行环境的基本配置不复杂。

1、下载

    swanhart-tools/flexviews at master · greenlion/swanhart-tools · GitHub

2、根据需要下载更新代码,

    ty-hongjy/flexviews: is modify part of from https://github.com/greenlion/swanhart-tools/tree/master/flexviews for new enviroment

    根据需要,覆盖上述程序中相应的几个程序文件,以满足新环境的需要,尤其是UTF8和mysql 8等环境要求。

3、安装php,php-mysqli ,php-pear,配置 php.ini ,建议先安装在C:\php下,这里不详述。

4、安装和配置MySQL服务器,修改配置参数,须支持binlog日志,这里不详述。

        这里给出windows 下的MySQL基本配置情况

5、配置flexviews,一定要在flexviews文件夹下进行配置。

    (1)安装相应的flexviews数据库

            cd flexviews

            mysql -uroot -p 登录数据库

            source ./install.sql

            由于开发和配置是针对的MySQL版本较低,使用新版MySQL运行期间如果发生错误,则依据错误做相应的检查和调整,参照注意事项(1)(2)(3)。

    (2)cd flexviews/consumer

             php setup_flexcdc.php

    (3)以上2步可能需要多次循环执行,会提示不存在对应的数据表等错误信息。

6、参照

    Flexviews-MySQL物化视图 (linuxmysql.com)

    注意以下介绍中有些方法已过时,没有更新,由于是作者亲自写的,仍是最好的讲解。

    Using Flexviews - part one, introduction to materialized views (percona.com)

    Using Flexviews - part two, change data capture (percona.com)

    Flexviews - part 3 - improving query performance using materialized views (percona.com)

7、注意事项

    (1)mariadb 不支持如下参数,并且flexviews也不支持,

            [mysqld]

              gtid-mode=on

              enforce-gtid-consistency=true

    (2)MySQL 8下 install_schema.sql 创建用户改为CREATE USER 'flexviews'@'localhost' IDENTIFIED BY 'flexdemo';

            [mysqld]

            default_authentication_plugin = mysql_native_password

            另外注意,如果用root账户进行连接操作,则root也要按此方式定义加密方式,如果不是则重新修改root的加密方式,否则php 5 mysqli_connect()报错。

     (3)MySQL 8下,导入数据需要配置相应的参数

            set global local_infile=1

            或者在mysql 配置文件中增加:

            [mysqld]

            local_infile=ON

            然后重新启动 mysql。

            在客户端启动时需加参数:

            mysql --local-infile=1 -uroot -p

        (4)生成物化视图的命令 convert.php在 Windows cmd下可以输出转换后的结果,但是有些语句由于环境因素不能输出完整结果;但是在 powershell下不行,powershell不支持“<”管道符;

            convert2.php经过修改可以正常使用,并且可以在powershell下运行。具体用法convert2.php --schema=<SCHEMA> --sql_file=<SQL FILE> Where SCHEMA is the name of the database and sql_file is the name of the sql file to be convert to flexviews statements。

            在windows下如果运行Git Bash下,可能会提示 stdout is not a tty 的解决办法,先进入 bash,再次运行相应的命令。

            注意convert-i.php不能用于复杂物化视图的语句生成,是实验性的修改。

         (5)运行run_consumer.php,只支持MySQL server UTF8,不支持UTF8mb4。

              需要读取默认的consumer.ini或者通过--ini=myconsumer.ini指定配置文件,其中[source]和[dest]可以不是本地MySQL数据库,而且[source]和[dest]也可以是不同地址的MySQL数据库,这是非常有用的技术,即flexviews可以单独运行在一台机器上或者docker上。

                在windows server 2008下运行run_consumer.php无法解析和执行binlog中的语句,只能在 Windows 10下通过--ini指定配置文件(如上所述),获取和执行远程数据库binlog日志。

           (6)执行CALL flexviews.refresh(1,"BOTH",null)刷新物化视图时,报错:Error Code:1175. You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column. To disable safe mode, toggle the option in Preferences -> SQL Editor and reconnect. 1.484 sec

            须要先执行SET SQL_SAFE_UPDATES = 0;

            最好将”SET SQL_SAFE_UPDATES = 0;“加到 procedure flexviews.refresh和flexviews.refrsh_all中。

其他可参照mysql 8/mariadb 10下使用flexviews创建物化视图基础配置详解 - 简书 (jianshu.com)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,185评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,652评论 3 393
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,524评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,339评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,387评论 6 391
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,287评论 1 301
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,130评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,985评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,420评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,617评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,779评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,477评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,088评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,716评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,857评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,876评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,700评论 2 354

推荐阅读更多精彩内容