2018-11-06 python插件式框架开发

为了扩充软件的功能,通常我们会把软件设计成插件式结构。插件机制是代码/功能反向依赖注入到主体程序的一种方法,编译型语言通过动态加载动态库实现插件。对于Python这样的脚本语言,实现插件机制更简单。Python这样的动态语言天生就支持插件式编程。与C++相比,Python已经定义好模块的接口,想要载入一个插件,一个__import__()就能很轻松地搞定。不需要特定的底层知识。而且与C++等静态语言相比,Python的插件式结构更显灵活。因为插件载入后,可以利用Python语言的动态性,充分地修改核心的逻辑。

简单地说一个__import__()可能不大清楚。现在就来看一个最简单的插件式结构程序。它会扫描plugins文件夹下的所有.py文件。然后把它们载入。

#-*- encoding: utf-8 -*-
#main1.py
import os

class Platform:
    def __init__(self):
        self.loadPlugins()

    def sayHello(self, from_):
        print "hello from %s." % from_

    def loadPlugins(self):
        for filename in os.listdir("plugins"):
            if not filename.endswith(".py") or filename.startswith("_"):
                continue
            self.runPlugin(filename)

    def runPlugin(self, filename):
        pluginName=os.path.splitext(filename)[0]
        plugin=__import__("plugins."+pluginName, fromlist=[pluginName])
        #Errors may be occured. Handle it yourself.
        plugin.run(self)

if __name__=="__main__":
    platform=Platform()

然后在plugins子目录里面放入两个文件:

#plugins1.py
def run(platform):
    platform.sayHello("plugin1")
#plugins2.py
def run(platform):
    platform.sayHello("plugin2")

再创建一个空的__init__.py在plugins文件夹里面。从package里面导入模块的时候,Python要求一个__init__.py

运行main1.py,看一下运行的结果。首先是打印一下文件夹结构方便大家理解:

|---main1.py
\---plugins
        plugin1.py
        plugin2.py
        __init__.py
python3 main1.py
hello from plugin1.
hello from plugin2.

一般地,载入插件前要首先扫描插件,然后依次载入并运行插件。我们上面的示例程序main1.py也是如此,分为两个函数。第一个loadPlugins()扫描插件。它把plugins目录下面所有.py的文件除了__init__.py都当成插件。runPlugin()载入并运行插件。其中两个关键:使用__import__()函数把插件当成模块导入,它要求所有的插件都定义一个run()函数。各种语言实现的插件式结构其实也基本上分为这两个步骤。所不同的是,Python语言实现起来更加的简洁。

或许听起来还有点玄奥。详细地说一下__import__()。它和常见的import语句很相似,只不过换成函数形式并且返回模块以供调用。
import module相当于__import__("module")
from module import func相当于__import__("module", fromlist=["func"])
不过与想象有点不同
import package.module相当于__import__("package.module", fromlist=["module"])

如何调用插件一般有个约定。像我们这里就约定每个插件都实现一个run()。有时候还可以约定实现一个类,并且要求这个类实现某个管理接口,以方便核心随时启动、停止插件。要求所有的插件都有这几个接口方法:

#interfaces.py
class Plugin:
    def setPlatform(self, platform):
        self.platform=platform

    def start(self):
        pass

    def stop(self):
        pass

想要运行这个插件,我们的runPlugin()要改一改,另外增加一个shutdown()来停止插件:

class Platform:
    def __init__(self):
        self.plugins=[]
        self.loadPlugins()

    def sayHello(self, from_):
        print "hello from %s." % from_

    def loadPlugins(self):
        for filename in os.listdir("plugins"):
            if not filename.endswith(".py") or filename.startswith("_"):
                continue
            self.runPlugin(filename)

    def runPlugin(self, filename):
        pluginName=os.path.splitext(filename)[0]
        plugin=__import__("plugins."+pluginName, fromlist=[pluginName])
        clazz=plugin.getPluginClass()
        o=clazz()
        o.setPlatform(self)
        o.start()
        self.plugins.append(o)

    def shutdown(self):
        for o in self.plugins:
            o.stop()
            o.setPlatform(None)
        self.plugins=[]

if __name__=="__main__":
    platform=Platform()
    platform.shutdown()

插件改成这样:

#plugins1.py
class Plugin1:
    def setPlatform(self, platform):
        self.platform=platform

    def start(self):
        self.platform.sayHello("plugin1")

    def stop(self):
        self.platform.sayGoodbye("plugin1")

def getPluginClass():
    return Plugin1
#plugins2.py
def sayGoodbye(self, from_):
    print "goodbye from %s." % from_

class Plugin2:
    def setPlatform(self, platform):
        self.platform=platform
        if platform is not None:
            platform.__class__.sayGoodbye=sayGoodbye

    def start(self):
        self.platform.sayHello("plugin2")

    def stop(self):
        self.platform.sayGoodbye("plugin2")

def getPluginClass():
    return Plugin2

运行结果:

python main.py
hello from plugin1.
hello from plugin2.
goodbye from plugin1.
goodbye from plugin2.

详细观察的朋友们可能会发现,上面的main.py,plugin1.py, plugin2.py干了好几件令人惊奇的事。

首先,plugin1.pyplugin2.py里面的插件类并没有继承自interfaces.Plugin,而platform仍然可以直接调用它们的start()stop()方法。这件事在Java、C++里面可能是件麻烦的事情,但是在Python里面却是件稀疏平常的事,仿佛吃饭喝水一般正常。事实上,这正是Python鼓励的约定编程。Python的文件接口协议就只规定了read(), write(), close()少数几个方法。多数以文件作为参数的函数都可以传入自定义的文件对象,只要实现其中一两个方法就行了,而不必实现一个什么FileInterface。如果那样的话,需要实现的函数就多了,可能要有十几个。

再仔细看下来,getPluginClass()可以把类型当成值返回。其实不止是类型,Python的函数、模块都可以被当成普通的对象使用。从类型生成一个实例也很简单,直接调用clazz()就创建一个对象。不仅如此,Python还能够修改类型。上面的例子我们就演示了如何给Platform增加一个方法。在两个插件的stop()里面我们都调用了sayGoodbye(),但是仔细观察Platform的定义,里面并没有定义。原理就在这里:

#plugins2.py
def sayGoodbye(self, from_):
    print "goodbye from %s." % from_

class Plugin2:
    def setPlatform(self, platform):
        self.platform=platform
        if platform is not None:
            platform.__class__.sayGoodbye=sayGoodbye

这里首先通过platform.__class__得到Platform类型,然后Platform.sayGoodbye=sayGoodbye新增了一个方法。使用这种方法,我们可以让插件任意修改核心的逻辑。这正在文首所说的Python实现插件式结构的灵活性,是静态语言如C++、Java等无法比拟的。当然,这只是演示,我不大建议使用这种方式,它改变了核心的API,可能会给其它程序员造成困惑。但是可以采用这种方式替换原来的方法,还可以利用“面向切面编程”,增强系统的功能。

接下来我们还要再改进一下载入插件的方法,或者说插件的布署方法。前面我们实现的插件体系主要的缺点是每个插件只能有一个源代码。如果想附带一些图片、声音数据,又怕它们会和其它的插件冲突。即使不冲突,下载时分成单独的文件也不方便。最好是把一个插件压缩成一个文件供下载安装。

Firefox是一个支持插件的著名软件。它的插件以.xpi作为扩展名,实际上是一个.zip文件,里面包含了javascript代码、数据文件等很多内容。它会把插件包下载复制并解压到%APPDATA%\Mozilla\Firefox\Profiles\XXXX.default\extensions里面,然后调用其中的install.js安装。与此类似,实用的Python程序也不大可能只有一个源代码,也要像Firefox那样支持.zip包格式。

实现一个类似于Firefox那样的插件布署体系并不会很难,因为Python支持读写.zip文件,只要写几行代码来做压缩与解压缩就行了。首先要看一下zipfile这个模块。用它解压缩的代码如下:

import zipfile, os

def installPlugin(filename):
    with zipfile.ZipFile(filename) as pluginzip:
        subdir=os.path.splitext(filename)[0]
        topath=os.path.join("plugins", subdir)
        pluginzip.extractall(topath)

ZipFile.extractall()Python 2.6后新增的函数。它直接解压所有压缩包内的文件。不过这个函数只能用于受信任的压缩包。如果压缩包内包含了以/或者盘符开始的绝对路径,很有可能会损坏系统。推荐看一下zipfile模块的说明文档,事先过滤非法的路径名。

这里只有解压缩的一小段代码,安装过程的界面交互相关的代码很多,不可能在这里举例说明。我觉得UI是非常考验软件设计师的部分。常见的软件会要求用户到网站上查找并下载插件。而FirefoxKDE提供了一个“组件(部件)管理界面”,用户可以直接在界面内查找插件,查看它的描述,然后直接点击安装。安装后,我们的程序遍历插件目录,载入所有的插件。一般地,软件还需要向用户提供插件的启用禁用依赖等功能,甚至可以让用户直接在软件界面上给插件评分,这里就不再详述了。

有个小技巧,安装到plugins/subdir下的插件可以通过__file__得到它自己的绝对路径。如果这个插件带有图片、声音等数据的时候,可以利用这个功能载入它们。比如上面的plugin1.py这个插件,如果它想在启动的时候播放同目录的message.wav,可以这样子:

#plugins1.py
import os

def alert():
    soundFile=os.path.join(os.path.dirname(__file__), "message.wav")
    try:
        import winsound
        winsound.PlaySound(soundFile, winsound.SND_FILENAME)
    except (ImportError, RuntimeError):
        pass

class Plugin1:
    def setPlatform(self, platform):
        self.platform=platform

    def start(self):
        self.platform.sayHello("plugin1")
        alert()

    def stop(self):
        self.platform.sayGoodbye("plugin1")

def getPluginClass():
    return Plugin1

接下来我们再介绍一种Python/Java语言常用的插件管理方式。它不需要事先有一个插件解压过程,因为Python支持从.zip文件导入模块,很类似于Java直接从.jar文件载入代码。所谓安装,只要简单地把插件复制到特定的目录即可,Python代码自动扫描并从.zip文件内载入代码。下面是一个最简单的例子,它和上面的几个例子一样,包含一个main.py,这是主程序,一个plugins子目录,用于存放插件。我们这里只有一个插件,名为plugin1.zipplugin1.zip有以下两个文件,其中description.txt保存了插件内的入口函数和插件的名字等信息,而plugin1.py是插件的主要代码:

description.txt
plugin1.py

其中description.txt的内容是:

[general]
name=plugin1
description=Just a test 
code=plugin1.Plugin1

plugin1.py与前面的例子类似,为了省事,我们去掉了stop()方法,它的内容是:

class Plugin1:
    def setPlatform(self, platform):
        self.platform=platform

    def start(self):
        self.platform.sayHello("plugin1")

重写的main.py的内容是:

# -*- coding: utf-8 -*-
import os, zipfile, sys, ConfigParser

class Platform:
    def __init__(self):
        self.loadPlugins()

    def sayHello(self, from_):
        print "hello from %s." % from_

    def loadPlugins(self):
        for filename in os.listdir("plugins"):
            if not filename.endswith(".zip"):
                continue
            self.runPlugin(filename)

    def runPlugin(self, filename):
        pluginPath=os.path.join("plugins", filename)
        pluginInfo, plugin = self.getPlugin(pluginPath)
        print "loading plugin: %s, description: %s" % \
                (pluginInfo["name"], pluginInfo["description"])
        plugin.setPlatform(self)
        plugin.start()

    def getPlugin(self, pluginPath):
        pluginzip=zipfile.ZipFile(pluginPath, "r")
        description_txt=pluginzip.open("description.txt")
        parser=ConfigParser.ConfigParser()
        parser.readfp(description_txt)
        pluginInfo={}
        pluginInfo["name"]=parser.get("general", "name")
        pluginInfo["description"]=parser.get("general", "description")
        pluginInfo["code"]=parser.get("general", "code")

        sys.path.append(pluginPath)
        moduleName, pluginClassName=pluginInfo["code"].rsplit(".", 1)
        module=__import__(moduleName, fromlist=[pluginClassName, ])
        pluginClass=getattr(module, pluginClassName)
        plugin=pluginClass()
        return pluginInfo, plugin

if __name__=="__main__":
    platform=Platform()

与前一个例子的主要不同之处是getPlugin()。它首先从.zip文件内读取描述信息,然后把这个.zip文件添加到sys.path里面。最后与前面类似地导入模块并执行。

解压还是不解压,两种方案各有优劣。一般地,把.zip文件解压到独立的文件夹内需要一个解压缩过程,或者是人工解压,或者是由软件解压。解压后的运行效率会高一些。而直接使用.zip包的话,只需要让用户把插件复制到特定的位置即可,但是每次运行的时候都需要在内存里面解压缩,效率降低。另外,从.zip文件读取数据总是比较麻烦。推荐不包含没有数据文件的时候使用。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,817评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,329评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,354评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,498评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,600评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,829评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,979评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,722评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,189评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,519评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,654评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,329评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,940评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,762评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,993评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,382评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,543评论 2 349

推荐阅读更多精彩内容

  • Python 面向对象Python从设计之初就已经是一门面向对象的语言,正因为如此,在Python中创建一个类和对...
    顺毛阅读 4,211评论 4 16
  • Python语言特性 1 Python的函数参数传递 看两个如下例子,分析运行结果: 代码一: a = 1 def...
    时光清浅03阅读 480评论 0 0
  • 现在,我讨厌文字。 我能看透一切,文字不足表述。 然而,文字仍然备受推崇。 我讨厌那些玩弄文字的人, 正如我讨厌自...
    泥望云阅读 302评论 0 1
  • 大家都知道‘不忘初心,方得始终’,但多少人知道‘初心易得,始终难守’。时代在变化,技术在发展,基础没变。学习新技术...
    咕泡学院蓉蓉老师阅读 521评论 2 0
  • 每年都默默打开推送,默默记下,今年争取默默看几本18语言学夏日推送
    l蓝楹树阅读 129评论 0 0