AI教学实训整体解决方案

第一章发展背景

当今，世界无时无刻不在发生着变化。对于技术领域而言，普遍存在的一个巨大变化就是为大数据（Big data）打开了大门。随着国家大数据战略推进实施以及配套政策的贯彻落实，大数据产业发展环境进一步优化，社会经济各领域对大数据服务需求进一步增强，大数据的新技术、新业态、新模式不断涌现，产业规模持续保持高速增长态势。并且，随着高校获准开设“数据科学与大数据技术”专业，大数据需要的复合型人才将源源不断形成。加之海外和传统行业跨界人才不断加入大数据行业，大数据产业将迎来创新发展。

大数据时代的来临加快了人工智能应用的发展，随着大数据的应用，以及计算机算力的大幅提升，深度学习进一步提升和完善的需要得到了满足，数据驱动的人工智能时代已经到来，人工智能发展进入新阶段。当前，新一代人工智能相关学科发展、理论建模、技术创新、软硬件升级等整体推进，正在引发链式突破，推动经济社会各领域从数字化、网络化向智能化加速跃升，数据科学与人工智能的结合越来越紧密。

大数据及人工智能成为国际竞争的新焦点，是引领未来的战略性技术，世界主要发达国家把大数据、人工智能的发展作为提升国家竞争力、维护国家安全的重大战略，加紧出台规划和政策，围绕核心技术、顶尖人才、标准规范等强化部署，力图在新一轮国际科技竞争中掌握主导权。当前，我国国家安全和国际竞争形势更加复杂，必须放眼全球，把大数据及人工智能发展放在国家战略层面系统布局、主动谋划，牢牢把握新阶段大数据及人工智能国际竞争的战略主动，打造竞争新优势、开拓发展新空间，有效保障国家安全。

第二章方案平台优势

2.1. 方案优势

基于云模式的智慧教育人工智能教学实训平台的设计全面落实“产、学、用、监、评”一体化的思想和模式，从教学、实践、使用、监控、评估等多方面注重专业人才和特色人才的培养。学生可以通过在教学平台的学习熟练掌握人工智能的基础知识,通过掌握的知识在人工智能课程实验中进行动手实践。

本实训系统平台方案融合操作系统、数据库、编程语言、Python数据处理、人工智能等课程，人工智能领域涉及深度学习、机器学习、深度学习、自然语言处理、计算机视觉等诸多方面，课程类型包括基础实训、关键技术掌握、应用创新等等各层次实践教学。从面向人工智能行业的需求、促进学生职业发展的角度，规划建设基于云模式的人工智能教学实训平台，真正在产业、学校及实际项目中相互配合，发挥优势，形成生产、学习、实践、运用、监控、评估的系统运作模式，从而建设大数据及人工智能特色专业。

利用虚拟化教学资源，搭建实训实战平台，将理论学习、实践教学和大数据及人工智能搭建、挖掘、存储、分析实战融为一体，从易到难、循序渐进，逐步提升学生的学习技能和实践水平，提高“学”的质量和成效。定制专业化技能评估与教学监控功能，将学生的学习情况、专业喜好、适用岗位形成报告模版。秉承着“精准、先进、创新”的原则，实时监控学生操作，分析学习情况，评估学生知识水平，从而减轻学校及教师的压力。

2.2. 系统优势

人工智能教学实训平台基于开源的Docker环境，构建硬件虚拟化设备，并基于同样开源的Kubernetes架构，实现GPU集群设备的自动管理和调度，以Yarn为核心，构建了资源管理系统，实现计算任务的智能调度与冲突协调。一个基础平台的生命力，有赖于系统的基础支撑能力与对外服务能力。在面向人工智能计算需求的建设开发上，必须要考虑如何开发组织系统对外服务的能力。而人工智能研发需求的两个基本要素就是计算和数据。因此，本系统也着眼于组建基础计算能力和基础数据处理能力。在计算能力建设中，系统将传统人工智能计算方法与计算模型、当前流行的人工智能计算模型与框架，完美地融入了整个系统的计算模块中，并且与底层的硬件管理与计算资源的调度，完美地结合在一起。在数据能力的建设中，系统将自建一套以非结构化数据的标记清洗，结构化数据的清洗为主要内容的数据处理系统。

在系统底层硬件管理上，支持CPU、GPU、FPGA、ASIC等通用或专用计算硬件，实现对主流计算硬件的即插即用。在计算集群的设置上，往往也是分布式的，计算集群可以分布在不同机房中，不受空间限制，是人工智能教学实训平台在底层硬件管理上的特点。

在系统最核心的调度算法上，通过系统自身构建的智能化调度策略，针对不同的计算框架和机器学习方法，系统自动分配相应的计算资源，包括处理器数量、内存数量，使计算请求与计算资源的使用达到最优匹配，提高计算资源的利用效率，降低单位时间的运行成本。同时，当用户发起计算请求时，系统会根据用户距离计算中心的“距离”,自动将用户的请求适配到距离用户最近的计算集群上，以便用户可以更快速地获取计算结果，提升用户的计算体验。

在教学管理方面，平台自带人工智能课程推荐功能，可为学生提供个性化课程推荐及AI课程助手，助力学生定向就业。还可以通过大数据分析，自动生成学业报告，为学生就业提供桥梁，并作为教师教学的得力助手，为高校的学生能力培养及教师的工作提供强有力的支持。

第三章教学实训平台

人工智能教学实训平台的建设采用B/S架构，用户通过浏览器进行访问，且支持内网与外网同时访问。平台的管理功能是针对前端系统设置的对应的管理功能，便于教学过程中对前端系统的自定义管理。系统课程学习模式包括实验平台、项目路径和职业路径，满足不同场景的教学需求。在教学管理方面，平台自带人工智能课程推荐功能，可为学生提供个性化课程推荐及AI课程助手，助力学生定向就业。还可以通过大数据分析，自动生成学业报告，为学生就业提供桥梁，并作为教师教学的得力助手，为高校的学生能力培养及教师的工作提供强有力的支持。

实训平台采用私有云模式，所有课程均在云端进行，自主研发设计的教学平台可将硬件资源进行集中调度分配，可管理大规模CPU、GPU、FPGA等高性能分布式计算集群，利用容器技术对计算资源进行虚拟化，以智能调度的方式对外提供计算服务，并依托开源分布式计算框架和深度学习框架，支持训练、推理，支持CNN、RNN等各种类型的网络模型，支持Xgboost等传统机器学习模型，适合大数据、人工智能、深度计算；课程内容涵盖操作系统、编程语言、Python数据处理、机器学习、数据分析、数据挖掘、深度学习、计算机视觉、自然语言处理等诸多方面，课程类型包括基础实训、关键技术掌握、应用创新等，是一个综合性的学习研究平台；平台配合专用的资源监控系统、课程监控系统，可实时的监控整个平台的硬件资源负载以及学生学习的状态，可帮助教师合理的安排课程及对应资源。

3.1. 学习模式

3.1.1. 实验平台

该模式以知识体系为核心，将人工智能内容按照不同类型的知识模块进行分类。体系下包含了：操作系统、编程语言、Python数据处理、机器学习、数据分析、数据挖掘、深度学习、计算机视觉、自然语言处理等诸多方面，该模式围绕一个内容展开了多方面知识的学习，与现在教育方式一致，保留了师生们传统的学习授课方法。不仅如此，为满足学校的已有的课程教学资源，老师可以自定义实验内容及实验镜像，将文本类、实操类、视频类课程上传到教学平台上满足教学需求。

实验平台

3.2. 练习算法

3.2.1. 算法集

算法集提供了一个环境，用户可以在里面写代码、运行代码、查看结果，并在其中可视化数据，并与平台中的数据集功能进行交互式使用，可直接调用平台当中的数据集用于算法在实际数据中的实践测试。鉴于这些优点，它能帮助他们便捷地执行各种端到端任务，如数据清洗、统计建模、构建/训练机器学习模型等。

算法集的一个特色是允许把代码写入独立的cell中，然后单独执行。这样做意味着用户可以在测试项目时单独测试特定代码块，无需从头开始执行代码。虽然其他的IDE环境（如RStudio）也提供了这种功能，但就个人使用情况来看，算法集的单元结构是设计的最好的。

算法集的优势还体现在灵活性和交互性上，除了最基础的Python，它还允许用户在上面运行R语言。由于它比IDE平台更具交互性，教师也更乐于在各种教程中用它来展示代码。

3.2.2. 数据集

数据集功能提供数量众多的数据集，包括互联网、零售、电商、医疗等相关数据集，数据集中的数据可直接与算法集中的算法进行交互使用，为算法提供所需数据的调用支撑。

教师可根据数据集的内容、格式、数量等为学生设定开放式课题，使用真实的数据集进行大数据、人工智能项目案例处理分析，深度理解掌握如何处理这些数据，例如，教师给定一份数据让学生进行预测实验，学生需设计算法进行清洗与预测等。

平台提供开放式上传功能，支持用户将自己的数据上传至平台当中，并可设定是否与他人共用，可帮助用户解决数据存放管理问题，实现用户数据的开放式共享。

3.3. 在线考试

3.3.1. 理论考核

理论考核采用在线考核模式，将单选题、多选题、判断题、填空题、简答题添加在试卷上，每一道题的题目、正选、分值等内容可由管理员自行设置，简答题题采用关键词进行自动判分，同时也可以由教师手动判分。

理论考核

3.3.2. 实践测评

实践测评考核模式是以实验操作过程为考核点，也称之为实操题考核模式，由教师在管理端设置考核步骤、分值权重，平台提供配套的实验考试环境。学生在实际操作过程中遇到的考核点，需要根据实际结果去填写，到最后统一汇总分数。该模式突破了传统的考核模式，通过实操的方式来加深印象，巩固知识。

实践测评

3.4. 智能教务

3.4.1. 教学进度分析

课程实验具有核全局开关功能，打开全局考核后，进行所有实验时都必须完成实验当中设定的每一步考核才能查看下一步。接着，系统不仅自动检测到正在进行实验，也可以手动设定实验状态分析（也可以手动设置分析目标）。查看分析结果时可查看每个班级的学生在进行每个实验时完成度，查看每个实验的每个步骤的通过率、完成率、完成进度、实验总结信息等。

教学进度分析功能可通过智能化的手段，有效帮助教师分析并掌握整个班级的学习情况，根据学生完成实验的进度过程进行授课，选择重点难点部分进行针对性讲解，有效降低教师授课压力，高效完成授课任务。

教学分析

3.4.2. 教学计划管理

管理员在后台可以一次性布置全部的教学计划，规定上课时间与学习课程，随后学生通过在前端查看，即可了解到每一天的课程安排。

3.4.3. 实验报告管理

教师通过此功能查看学生的实验报告，支持预览和批阅等功能，后台自动统计学生学习数据，展示出每个步骤的学习通过时间、成绩正确率、班级排名等信息，并将实验数据与学生的实验报告有机结合，形成完成的实验报告。此功能相较于传统的实验报告，增加了学生的学习数据统计功能，可大大的减轻教师的负担，同时为教师了解班级整体的学习状况提供的有力的支持。

3.5. 平台管理

3.5.1. 用户管理

为满足教师方便的管理班级学院，平台提供用户组织管理功能。其中用户管理显示平台用户的信息列表，管理端可对平台用户信息进行编辑与删除，包含根据组织、专业、班级、姓名等信息进行用户模糊筛选，便于管理平台用户；角色管理显示平台现有角色，用户可编辑新的角色并赋予角色权限；组织结构管理显示平台现有的组织机构，管理端可以也可根据层级分步添加组织、学院、系别、专业、班级，对同级别下的机构进行排序。

3.5.2. 资源管理

用户可以在此查看版本信息、用户数量、实验数量，资源监控及用户虚拟机监控。同时后台资源监控中心可查看平台的用户数量、实验数量、职业路径数量、项目路径数量、算法集数量、数据集数量、用户分布、活跃用户等数据；实时的CPU、内存、硬盘、实例的使用情况和该时刻学生实验进行的状态；可对虚拟机进行监控所处的实验环境、创建位置、用户姓名、创建时间时间以及开启和关闭的状态。该功能的实现可便捷精准的反应出学生的问题所在，可对实验平台进行实时状态的查看，又同时提高了老师的教学质量和效率。

3.5.3. 系统管理

邮件系统配置是为了减轻管理端的任务负担，配置好邮件系统之后，学生在忘记登陆密码之后可以通过邮件找回密码。

第四章红亚教学资源

4.1. 人工智能基础课程资源

4.1.1. Linux基础

Linux系统是开源软件，其可靠性得到肯定，是当今举世瞩目、发展最快、应用最广的主流软件之一。在服务器平台、嵌入式系统和云计算系统所运行的操作系统中，Linux占很大比重。大数据主流框架Hadoop、Spark都架设在Linux系统上，所以现在学习和应用Linux成为众多用户和学生的首选。

Linux基础 Linux基础 Linux系统概述 Linux简介

Linux应用领域

Linux优势

字符操作环境使用Shell

字符编辑器VI

Linux文件系统 Linux文件

ext3文件系统

安装和卸载文件系统

进程管理 Linux进程概述

进程控制命令

常用命令介绍目录操作

文件操作

磁盘操作

文本编辑

帮助命令

用户管理 Linux用户账户概述

管理用户和群组

命令行配置

用户管理器配置

系统监控与备份显示系统进程

查看硬件信息

查看日志文件

数据备份与恢复

软件包管理 RPM概述

RPM包的命令介绍

查看软件包（检查软件包签名）

软件包管理工具

管理网络服务守护进程服务

配置FTP服务

配置邮件服务器

Apache服务器

4.1.2. 编程基础

编程基础包含Python基础、R语言基础、Scala基础和Java基础四大模块共计82个实验项目。针对每一个所讲解的知识点都进行了深入分析，并使用生动形象的情境化举例，将原本复杂的、难于理解的知识点和问题进行简化，针对每个知识点，精心设计了相应的问题，让学习者不但能掌握和理解这些知识点，并且还可以清楚地知道在实际工作中如何去运用。

编程基础 Python基础 Python基础 Python介绍

Python开发环境搭建

Python基本数据类型

Python变量

Python基本输入输出

Python模块

Python运算符与表达式

Python选择与循环结构

Python序列操作

Python列表常用方法

Python元组

Python列表解析式与生成器表达式

Python字符编码

Python字符串基本操作

Python字符串格式化

Python字符串方法

Python正则表达式与re模块

Python字典创建与使用

Python字典方法

Python集合创建与使用

Python集合常用运算

Python文件基本概念

Python打开与关闭文件

Python文件对象基本方法

Python数据序列化与反序列化

Python文件与文件夹基本操作

Python函数的定义和调用

Python函数参数

Python变量作用域

Python函数返回值

Python函数嵌套定义、闭包、装饰器

Python类的定义和使用

Python构造方法与析构方法

Python成员访问权限

Python继承

Python异常概念与常见表现形式

Python常见异常处理结构

Python的raise语句

R语言基础 R语言基础 R语言开发环境搭建

R语言对象与属性

R语言向量

R语言矩阵和数组

R语言列表

R语言数据框

R语言构建子集

lapply函数

apply函数

mapply函数

split函数

tapply函数

R语言重复值处理

R语言排序

Scala基础 Scala基础 Scala开发环境搭建

Scala控制结构和函数

Scala数组相关操作

Scala映射与元组

Scala类与对象

Scala包管理

Scala继承

Scala文件和正则表达式

Scala特质

Scala运算符(原本为scala操作符)

Scala高阶函数

Scala集合

Scala模式匹配和样例类

Scala类型参数

Scala高级类型

Scala隐式转换和隐式参数

Java基础 Java基础 Java开发环境搭建

Java的类和对象

Java标识符、关键字与运算符

Java基本数据类型

Java流程控制

Java继承与多态

Java抽象类与接口

Java内部类

Java异常处理

Java集合类

Java基础类库

Java泛型

Java的输入与输出

Java数据库操作

4.1.3. 数学基础

数字在数学体系中稳固的位置，而大数据技术也和数学紧紧地结合在一起。数学基础共计信息论、线性代数、概率论与数理统计、数值计算和最优化方法五大模块30个教学项目。大数据技术本身是一门交叉性学科，统计方法为核心，所以学习数学基础就显得尤为重要。

数学基础信息论信息论熵

联合熵

条件熵

相对熵

互信息

最大熵模型

线性代数线性代数标量

向量

张量

范数

矩阵

特征分解

几种常用距离计算

概率论与数理统计概率论与数理统计随机变量

概率分布

贝叶斯公式

期望

方差

协方差

常见分布函数

最大似然估计

数值计算数值计算数值计算概述

上溢和下溢

计算复杂性与NP问题

最优化方法最优化方法最优化理论概述

最优化问题的数学描述

凸集与凸集分离方法

梯度下降算法

启发式优化方法

牛顿法和拟牛顿法

4.1.4. 数据库基础

数据库已是当今信息社会须臾不可脱离的重要工具，数据库的教学也就成为计算机科学与技术专业的一门必修课程。在大数据技术中，数据仓库的搭建离不开传统数据库的支持，所以，学习数据库基础是为大数据的存储做准备。

数据库基础 excel Excle Excel函数与公式

Excel数据统计与汇总

VBA程序基础

VBA数据类型

VBA流程控制

VBA综合应用

mysql Mysql MySQL简介与安装

MySQL创建连接

MySQL操作数据库

MySQL操作数据表

MySQL操作数据

MySQL条件限定与正则表达式

MySQL表的连接

MySQL排序、分组与过滤

MySQL结果合并

MySQL函数

MySQL导入与导出

oracle Oracle Oracle安装与卸载

Oracle数据类型（文本）

表的创建与管理

简单查询

单行函数

分组统计查询

多表查询

Sybase PowerDesigner设计工具

mongodb MongoDB MongoDB简介与安装

MongoDB创建连接

MongoDB操作数据库

MongoDB操作集合

MongoDB操作文档

MongoDB条件操作符与正则表达式

MongoDB之Limit与Skip方法

MongoDB排序与聚合

Redis+Memcache Redis+Memcache Redis简介、安装与配置

Redis命令（包括Redis键）

Redis数据类型

Redis基数统计

Redis服务器与连接

memcached简介与安装

memcached连接

memcached存储

memcached查找

memcached统计

SQLite SQLite SQLite简介与安装

SQLite操作数据库

SQLite操作数据表

SQLite操作数据

SQLite条件限定与通配符

SQLite表的连接

SQLite排序、分组与过滤

SQLite结果合并

SQLite之Explain细节描述

SQLite函数

4.1.5. Python数据处理

随着大数据疯狂的浪潮，新生代的工具Python得到了前所未有的爆发。简洁、开源是这款工具吸引了众多客户的原因。通过Python的实训练习，掌握数据采集、数据分析、模型调优等技术，实现人工智能与Python的完美融合。

Python基础知识 Python基础简介 Python语言概述

为何学习Python语言

Python主要应用领域

Python开发环境搭建

初识Python Python基本数据类型

Python变量

Python基本输入输出

Python模块

Python运算符与表达式

Python选择与循环结构

Python猜数字游戏

列表与元组 Python序列操作

Python列表常用方法

Python元组

Python列表解析式与生成器表达式

字符串与正则表达式 Python字符编码

Python字符串基本操作

Python字符串格式化

Python字符串方法

Python正则表达式与re模块

字典 Python字典创建与使用

Python字典方法

集合 Python集合创建与使用

Python集合常用运算

文件操作 Python文件基本概念

Python打开与关闭文件

Python文件对象基本方法

Python数据序列化与反序列化

Python文件与文件夹基本操作

函数 Python函数的定义和调用

Python函数参数

Python变量作用域

Python函数返回值

Python函数嵌套定义、闭包、装饰器

面向对象 Python类的定义和使用

Python构造方法与析构方法

Python成员访问权限

Python继承

异常处理结构 Python异常概念与常见表现形式

Python常见异常处理结构

Python的raise语句

Python 数据采集爬虫初识爬虫简介

爬虫应用场景

爬虫基本工作原理

网络请求基础 TCP/IP协议

HTTP请求格式

HTTP常用请求头

响应状态码

浏览器发送HTTP请求的过程

cookie和session

使用Python发送网络请求 Requests模块介绍

使用Requests发送post请求

使用Requests发送get请求

使用Requests发送带Header请求

使用Requests发送带参数请求

Python爬虫实战 XPATH介绍及节点选择

LXML介绍及使用

对抗反爬虫措施

网站数据爬取实验

IP代理数据爬取

Python数据分析分类与预测决策树

K近邻分类算法

支持向量机

Python随机森林

Logistic回归分析

人工智能网络

常用聚类分析算法 K-Means聚类算法

系统聚类算法

DBSCAN聚类算法

关联规则算法 Apriori算法简介

Apriori算法应用

协同过滤算法基于用户的协同过滤算法

基于物品的协同过滤算法

时间序列数据分析时间序列预处理

平稳时间序列分析

非平稳时间序列分析

Python主要时序模式算法

离群点检测方法离群点检测概述

基于密度的离群点检测方法

基于聚类的离群点检测方法

基于距离的离群点检测方法

数据降维数据降维概述

常用降维方法-1.机器学习简介

常用降维方法-2.机器学习数学预备知识

常用降维方法-3.常用降维方法的目的

常用降维方法-4.常用降维方法解读

模型调优与实战模型评估与调优模型评估和调优的意义

评估指标

模型调优建议与注意事项

数据分析与挖掘实战电子商务的智能推荐

财政收入分析

电商产品评价分析

电力窃漏识别分析

电器使用情况分析

4.2. 人工智能课程资源

4.2.1. 机器学习

机器学习是人工智能中发展最快的分支之一，是人工智能的主要技术途径。在本课程体系中，机器学习处于基础地位，是学好后续课程的基础。本课程讲授机器学习的基本原理和方法，涵盖了线性回归实验分析、Python从零实现线性回归方程、机器学习模型评估方法对比分析、逻辑回归实验分析等课程的主要方法。

机器学习线性回归线性回归实验分析

Python从零实现线性回归方程

机器学习模型评估方法对比分析

逻辑回归逻辑回归实验分析

Python从零实现逻辑回归方程

项目实战-信用卡交易数据欺诈检测

决策树与集成实例决策树算法实验分析

Python从零实现决策树模型

集成算法实验分析

集成模型搭建实例

项目实战-基于随机森林的气温预测

贝叶斯算法 Python从零实现贝叶斯算法

项目实战-基于贝叶斯的新闻数据分类

贝叶斯优化及其工具包使用实战

贝叶斯分析实例

聚类算法分析 Python从零实现Kmeans算法

聚类算法实验分析

支持向量机基于SVM的简易人脸识别案例

支持向量机实验分析

降维算法线性判别分析实验

主成分分析

提升算法 Xgboost建模调参实战

xgboost-gbdt-lightgbm算法对比分析

项目实战-使用lightgbm进行饭店流量预测

隐马尔科夫模型 HMM实现中文分词

机器学习综合项目制作自己常用工具包

特征工程试验分析

项目实战-从零开始打造音乐推荐系统

推荐系统实验分析

关联规则工具包实战

Python从零实现关联规则

科比职业生涯数据分析建模

Python时间序列分析实战

ARIMA模型实战

项目实战-人口普查数据集项目实战-收入预测

模型学习曲线分析

基于统计分析的电影推荐

项目实战-贷款申请最大利润分析

NLP-文本特征方法对比

项目实战-用户流失预警

机器学习项目建模模板

4.2.2. 数据分析

数据分析指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。本课程涵盖了数据分析的主要知识内容。

数据分析统计分析方法假设检验分析