Jupyter笔记-Python语法基础（U.9）

9. Python计算生态概览

从数据处理到人工智能；实例15：霍兰德人格分析雷达图；从Web解析到网络空间；从人机交互到艺术设计；实例16：玫瑰花绘制；

9.1 从数据处理到人工智能

数据表示（采用合适方式用程序表达数据）-数据清洗（数据归一化、数据转换、异常值处理）-数据统计（数据的概要理解、数量、分布、中位数等）-数据可视化（直观展示数据内涵的方式）-数据挖掘（从数据分析获得知识，生产数据外的价值）-人工智能（数据/语言/图像/视觉等方面深度分析与决策）；

9.1.1 Python库数据分析

  1. Numpy：表达N维数组的最基础库；Python接口，C语言实现，计算速度优异；数据分析和科学计算的基础库，支撑Pandas等；提供直接的矩阵运算、广播函数、线性代数等；
  2. Pandas：Python数据分析高层次应用库；提供简单易用的数据结构和数据分析工具；理解数据类型与索引的关系，操作索引即操作数据；基于Numpy开发；Series=索引+一维数据；DataFrame=行列索引+二维数据；
  3. SciPy：数学、科学和工程计算功能库；提供了一批数学算法及工程数据运算功能；类似Matlab，可用于如傅里叶变换、信号处理等应用；科学计算，基于Numpy开发；

9.1.2 数据可视化

  1. Matplotlib：高质量的二维数据可视化功能库；提供了超过100种数据可视化展示效果；通过matplotlib.pyplot子库调用各可视化效果；基于Numpy开发；
  2. Seaborn：统计类数据可视化功能库；提供了一批高层次的统计类数据可视化展示效果；主要展示数据间分布、分类和线性关系等内容；基于Matplotlib开发，支持Numpy和Pandas；
  3. Mayavi：三维科学数据可视化功能库；提供了一批简单易用的3D科学计算数据可视化展示效果；支持Numpy、TVTK、Traits、Envisage等第三方库；

9.1.3 文本处理

  1. PyPDF2：处理PDF文件的工具箱；支持获取信息、分隔/整合文件、加密解密等；不需要额外依赖；
  2. NLTK：自然语言文本处理第三方库；简单易用的自然语言处理功能；支持语言文本分类、标记、语法句法、语义分析等；优秀语言处理库；
  3. Python-docx：创建或更新Microsoft Word文件的第三方库；提供创建或更新.doc、.docx等文件的计算功能；增加并配置段落、图片、表格、文字等；

9.1.4 机器学习

  1. Scikit-learn：机器学习方法工具集；提供一批统一化的机器学习方法功能接口；提供聚类、分类、回归、强化学习等计算功能；优秀机器学习库；
  2. TensorFlow：AlphaGo背后的机器学习计算框架；谷歌公司推动的开源机器学习框架；将数据流图作为基础，图节点代表运算，边代表张量；应用机器学习方法的一种方式，支撑谷歌人工智能应用；
  3. MXNet：基于神经网络的深度学习计算框架；提供可扩展的神经网络及深度学习计算功能；可用于自动驾驶、机器翻译、语音识别等众多领域；

9.2 实例15：霍兰德人格分析雷达图

雷达图是多特性直观展示的重要方式；
霍兰德认为：人格兴趣与职业之间应有一种内在的对应关系；
人格分类：研究型、艺术型、社会型、企业型、传统型、现实型；
职业：工程师、实验员、艺术家、推销员、记事员、社会工作者；
需求：雷达图方式验证霍兰德人格分析；
输入：各职业人群结合兴趣的调研数据；
输出：雷达图；
通用雷达图绘制：matplotlib库；专业的多维数据表示：numpy库；

9.2.1 实例展示

#HollandRadarDraw.py
import numpy as np   #引入第三方库
import matplotlib.pyplot as plt
import matplotlib

#数据
matplotlib.rcParams['font.family'] = 'SimHei'
radar_labels = np.array(['研究型(I)','艺术型(A)','社会型(S)','企业型(E)','常规型(C)','现实型(R)'])
data = np.array([[0.40, 0.32, 0.35, 0.30, 0.30, 0.88],
                [0.85, 0.35, 0.30, 0.40, 0.40, 0.30],
                [0.43, 0.89, 0.30, 0.28, 0.22, 0.30],
                [0.30, 0.25, 0.48, 0.85, 0.45, 0.40],
                [0.20, 0.38, 0.87, 0.45, 0.32, 0.28],
                [0.34, 0.31, 0.38, 0.40, 0.92, 0.28]])    #数据值
data_labels = ('艺术家','实验员','工程师','推销员','社会工作者','记事员')

#雷达图绘制
angles= np.linspace(0, 2 * np.pi, 6, endpoint=False)
data = np.concatenate((data, [data[0]]))
angles = np.concatenate((angles, [angles[0]]))
fig = plt.figure(facecolor="white")
plt.subplot(111, polar=True)
plt.plot(angles, data, 'o-', linewidth = 1, alpha = 0.2)
plt.fill(angles, data, alpha = 0.25)
plt.thetagrids(angles*180/np.pi, radar_labels)  
#plt.thetagrids(angles*180/np.pi, radar_labels, frac = 1.2)

#输出
plt.figtext(0.52, 0.95, '霍兰德人格分析', ha = 'center', size = 20)
legend = plt.legend(data_labels, loc = (0.94, 0.80), labelspacing = 0.1)
plt.setp(legend.get_texts(), fontsize = 'large')
plt.grid(True)
plt.savefig('holland_radar.jpg')
plt.show()
在这里插入图片描述

9.3 Wed解析到网络空间

网络爬虫；Web信息提取；Web网站开发；网络应用开发；

9.3.1 网络爬虫

  1. Requests：最友好的网络爬虫功能库；提供了简单易用的类HTTP协议网络爬虫功能；支持连接池、SSL、Cookies、HTTP(S)代理等；
    import requests r = requests.get('http://api.github.com/user', auth = ('user', 'pass')) r.status_code r.headers['content-type'] r.encoding r.text

  2. Scrapy：优秀的网络爬虫框架；提供了构建网络爬虫系统的框架功能，功能半成品；支持批量和定时网页爬取、提供数据处理流程等；

  3. pyspider：强大的Web页面爬取系统；提供了完整的网页爬取系统构建功能；支持数据库后端、信息队列、优先级、分布式架构等；

9.3.2 Web信息提取

  1. Beautiful Soup：HTML和XML的解析库；提供解析HTML和XML等Web信息的功能；又名beautifulsoup4或bs4，可以加载多种解析引擎；常与网络爬虫库搭配使用，如Scrapy、requests等；
  2. Re：正则表达式解析和处理功能库；提供了定义和解析正则表达式的一批通用功能；可用于各类场景，包括定点的Web信息提取；Python标准库；
  3. python-Goose：提取文章类型Web页面的功能库；提供对Web页面中文章信息/视频等元素数据的提取功能；针对特定类型Web页面，应用覆盖较广；

9.3.3 Web网站开发

  1. Django：Web应用框架；提供构建Web系统的基本应用框架；MTV模式：模型（model）、模板（Template）、视图（Views）；
  2. Pyramid：规模适中的Web应用框架；提供简单方便构建Web系统的应用框架；不大不小，规模适中，合适快速构建并适度扩展类应用；
  3. Flask：Web应用开发微框架；提供最简单构建Web系统的应用框架；特点是简单、规模小、快速；
    Django>Pyramid>Flask

9.3.4 网络应用开发

  1. WeRoBot：微信公众号开发框架；提供解析微信服务器消息及反馈消息的功能；建立微信机器人的重要技术手段；
  2. aip：百度AI开放平台接口；提供访问百度AI服务的Python功能接口；语音、人脸、OCR、NLP、知识图谱、图像搜索等领域；
  3. MyQR：二维码生成第三方库；提供生成二维码的系列功能；基本二维码、艺术二维码和动态二维码；
#9.3.1
import requests
r = requests.get('http://api.github.com/user', auth = ('user', 'pass'))
r.status_code
r.headers['content-type']
r.encoding
r.text

9.4 人机交互到艺术设计

图形用户界面；游戏开发；虚拟现实；图形艺术；

9.4.1 图形用户界面GUI

  1. PyQt5：Qt开发框架的Python接口；提供创建Qt5程序的PythonAPI接口；Qt是跨平台桌面应用开发系统，完备GUI；
  2. wxPython：跨平台GUI开发框架；提供专用于Python的跨平台GUI开发框架；理解数据类型与索引的关系，操作索引即操作数据；
  3. PyGObject：使用GTK+开发GUI的功能库；提供整合GTK+、WebKitGTK+等库的功能；GTK+是跨平台的一种用户图形界面GUI框架；Anaconda采用的该库构建GUI；

9.4.2 游戏开发

  1. PyGame：简单的游戏开发功能库；提供基于SDL的简单游戏开发功能及实现引擎；理解游戏对外部输入的响应机制及角色构建和交互机制；
  2. Panda3D：开源、跨平台的3D渲染和游戏开发库；3D游戏引擎，提供Python和C++两种接口；支持很多先进特性：法线贴图、光泽贴图、卡通渲染等；由迪士尼和卡尼吉梅隆大学共同开发；
  3. cocos2d：构建2D游戏和图形界面交互式应用的框架；提供基于OpenGL的游戏开发图形渲染功能；支持GPU加速，采用树形结构分层管理游戏对象类型；

9.4.3 虚拟现实

  1. VR Zero：在树莓派上开发VR应用的Python库；提供大量与VR开发相关的功能；针对树莓派的VR开发库，支持设备小型化，配置简单化；
  2. pyovr：Oculus Rift的Python开发接口；针对Oculus VR设备的Python开发库；基于成熟的VR设备，提供全套文档，工业级应用设备；
  3. Vizard：基于Python的通用VR开发引擎；专业的企业级虚拟现实开发引擎；提供详细的官方文档；支持多种主流的VR硬件设备，具有一定通用性；

9.4.4 图形艺术

  1. Quads：迭代的艺术；对图片进行四分迭代，形成像素风；可以生成动图或静图图像；简单易用，具有很高展示度；
  2. ascii_art：ASCII艺术库；将普通图片转为ASCII艺术分格；输出可以是纯文本或彩色文本；可采用图片格式输出；
  3. turtle：海龟绘图体系；Random Art；

9.5 实例16：玫瑰花绘制

需求：用python绘制一朵玫瑰花；输入：想象力；输出：玫瑰花；
绘制机理：turtle基本图形绘制；
绘制思想：因人而异；

9.5.1 实例展示

#9.5.1
import turtle

# 设置初始位置
turtle.penup()
turtle.left(90)
turtle.fd(200)
turtle.pendown()
turtle.right(90)

# 花蕊
turtle.fillcolor("red")
turtle.begin_fill()
turtle.circle(10,180)
turtle.circle(25,110)
turtle.left(50)
turtle.circle(60,45)
turtle.circle(20,170)
turtle.right(24)
turtle.fd(30)
turtle.left(10)
turtle.circle(30,110)
turtle.fd(20)
turtle.left(40)
turtle.circle(90,70)
turtle.circle(30,150)
turtle.right(30)
turtle.fd(15)
turtle.circle(80,90)
turtle.left(15)
turtle.fd(45)
turtle.right(165)
turtle.fd(20)
turtle.left(155)
turtle.circle(150,80)
turtle.left(50)
turtle.circle(150,90)
turtle.end_fill()

# 花瓣1
turtle.left(150)
turtle.circle(-90,70)
turtle.left(20)
turtle.circle(75,105)
turtle.setheading(60)
turtle.circle(80,98)
turtle.circle(-90,40)

# 花瓣2
turtle.left(180)
turtle.circle(90,40)
turtle.circle(-80,98)
turtle.setheading(-83)

# 叶子1
turtle.fd(30)
turtle.left(90)
turtle.fd(25)
turtle.left(45)
turtle.fillcolor("green")
turtle.begin_fill()
turtle.circle(-80,90)
turtle.right(90)
turtle.circle(-80,90)
turtle.end_fill()

turtle.right(135)
turtle.fd(60)
turtle.left(180)
turtle.fd(85)
turtle.left(90)
turtle.fd(80)

# 叶子2
turtle.right(90)
turtle.right(45)
turtle.fillcolor("green")
turtle.begin_fill()
turtle.circle(80,90)
turtle.left(90)
turtle.circle(80,90)
turtle.end_fill()

turtle.left(135)
turtle.fd(60)
turtle.left(180)
turtle.fd(60)
turtle.right(90)
turtle.circle(200,60)
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 224,896评论 6赞 522
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 96,283评论 3赞 402
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 172,085评论 0赞 367
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 61,010评论 1赞 300
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 70,015评论 6赞 400
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 53,492评论 1赞 314
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 41,858评论 3赞 428
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 40,829评论 0赞 279
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 47,374评论 1赞 324
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 39,409评论 3赞 346
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 41,527评论 1赞 355
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 37,131评论 5赞 351
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 42,858评论 3赞 339
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 33,296评论 0赞 25
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 34,434评论 1赞 276
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 50,087评论 3赞 381
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 46,597评论 2赞 366