Kaggle入门项目理解与有趣小应用

流程：
探索性数据分析EDA- 数据预处理- 特征工程- 模型选择与训练- 模型集成
https://www.cnblogs.com/volcao/p/9523254.html

trick:
理解特征- 识别嘈杂特征- 特征工程- 特征重要性- 特征调试- 泄漏检测- 模型监控
https://yq.aliyun.com/articles/665708

1- (NLP)尼克号幸存者
数据可视化,清洗,用LR模型预测
https://www.imooc.com/article/details/id/29520

Titanic对比分析

2- 共享单车预测以后的使用情况
认识数据,数据从Kaggle中下载,数据可视化- 特征工程- 建模与预测
各特征相关系数
GitHub - missbai119/Code
//www.greatytc.com/p/b21b0ad52dee

3- 手写数字的识别
RF分类, 神经网络解法

4- (NLP)恐怖小说家身份识别Spooky Author Identification
Spooky Author Identification分析
词云图
增加一些可能的特性，包括逗号、分号、冒号、空格的数量以及包含大写字母的单词或是以大写字母开头的单词，并绘制每一种的图像。
TF-IDF

5- (NLP)恶意评论分类
恶意评论分类分析

6- (NLP)房价
房价分析

这个3D图也太好看了

7- (CV)树叶分类
树叶分类分析

8- (CV)肺癌
肺癌分析

预测肺癌
根据CT扫描图预测肺癌

9- (CV)图像分类
图像分类(CIFAR-10)

NCFM分类识别鱼类品种

10- (CV)图像识别
鲸鱼图像识别

references:
//Kaggle六大比赛(NLP+CV)-1
Kaggle六大比赛(NLP+CV)-2

Kaggle Competitions: How and where to begin(8示例)
Kaggle Competitions: How and where to begin(8示例解析)

CV比赛赛后感

好了以下是分割猫

我是分割猫

以下附实际应用项目
candidate:

1. 行人重识别
2. 钢筋数量识别: 目标检测？标签？YOLO？faster rcnn？retinanet？k-means怎样用？
3. 安检机物品检测
4. 人脸门禁
5. 视频分类: 细粒度分类？特征提取？适用范围？优缺点？如何标注？哪些标签？只有少量标签？权重设置？模型效果不好？模型不收敛？照明、摄像头高度优化了模型准确率却降低？目标检测方法？ROI层实现？映射？YOLO与SSD区别？
6. 商品定位与识别
7. 烤箱中食材识别
8. 搞笑的推荐视频: 推荐视频是否重复？pageRank？去掉数据库中重复视频？模糊标准对百万实体排序，亚秒级返回？标签数据少，用GAN扩大数据集？
9. 图像哈希: 原理？
10. 预测肺癌

项目一: 烤箱中食材识别

问到自闭系列:
没有数据怎么办？GAN怎么生成的数据？数据不均衡怎么办？数据量多大？实例识别的方法是什么？识别过程呢？训练数据的标签怎么打的？只有一半的数据有标签怎么办？整体的架构怎样？食物重叠在一起怎么办？IOU怎么计算？准确率高吗？模型效果怎样？与哪些因素有关？光照变亮，照相机的位置变高后怎么准确率反降？为什么做这个项目？有落地的几率吗？可行性怎么样？

准备知识:
机器学习流程10步
机器学习常见的七个步骤
搜集数据 数据准备 选择模型 训练模型 评估模型 参数微调 预测

预测红酒还是啤酒

mac安装Caffe
CNN图片原理+简单图片识别

在Ubuntu上利用caffe进行食物图像识别
食物识别Demo
拍照识别多种食物
细粒度图像识别—果蔬类食材识别
食材识别
MIT:看一眼照片就能判断食物组成

步骤:
搜集数据
数据准备
选择模型
训练模型
评估模型
参数微调
预测
1- GAN生成10k张左右的烤箱食材图片，生成过程中可能可以自动加标签？
生成 检测
各类数据集来源
kaggle也可以找数据
visualdata
MSGAN项目生成地址
imagenet

2- 用传统的实例识别(通过对齐的方法，如Hough transform、RANSAC、ICP等)检测单张图片的识别效果
3- 选择深度学习框架
4- 画框，计算IOU；解决框重叠问题；设计系统结构
5- 少量数据先训练，查看准确率如何
6- 所有数据进行训练与测试，看结果是否有优化
7- 再次利用GAN生成对应食材较小(模拟摄像机位置变高)的照片，同时补入多一些光线看结果如何，解释准确率的变化

项目二: 肺癌预测

检测

运用深度学习预测肺癌诊断
肺结节检测技术进入人工智能时代
基于深度学习的CT图像肺结节自动检测技术（行业及技术分析）
肺结节检测中传统处理方法和深度学习算法的区别
人工智能模拟和预测肺癌准确度超过专家
谷歌肺癌预测挫败 6 位放射专家
Nat Medicine_谷歌AI开发3D深度学习算法精准预测肺癌风险
基于物联网的肺癌预测模型的模糊聚类分割与分类_论文笔记
谷歌AI预测肺癌，准确率高于医生

LUNA(LUng Node Analysis Grand Challenge)数据集，使用Resnet v2网络，切割CT扫描图为646464的图像块并将其作为分段网络的输入，Dice系数作优化函数，从CT图中检测、分割肺结节(基于U-net架构)后进行肺分割，使用DoG检测斑块后形成专家网络减少假阳性，给出排名对恶性肿瘤进行预测。

改进: 使用预训练权重初始化网络，预测聚合结节，集成最后阶段模型的预测等。工作很大一部分内容是建立一个完整的系统，了解尽可能多的部分才能使系统得到更大的改进。

问到自闭系列:
什么语言？模型数据有多少？从哪里来？为什么选这个框架？优势？解释一下整体的系统？优化函数？为什么？模型不好怎么办？数据不均衡怎么办？目标检测用到没有？分割怎么做的？目标检测/分割的方法有哪些？各自优缺点？使用场景？结果怎样？性能评价指标是什么？准确率有多少？落地效果怎样？跑了多久？预训练模型想过吗？过程中最大的问题是什么？如何解决的？以后的优化方向？

步骤:
搜集数据
数据准备
选择模型
训练模型
评估模型
参数微调
预测

项目三: 人脸门禁

检测
eg: 腾讯优图: 人脸检测与分析 五官定位 人脸搜索 人脸比对 人脸验证 活体检测等功能
Python三步实现人脸识别
人脸识别
人脸识别技术
人脸识别算法

人脸识别经典算法一：特征脸方法（Eigenface）
人脸识别经典算法二：LBP方法
人脸识别经典算法三：Fisherface（LDA）

DeepID人脸识别算法之三代
人脸识别算法演化史
人脸识别算法参数
人脸识别各算法详解

对不同方向/尺寸/光照鲁棒的Gabor小波变换
人脸识别门禁系统原理
门禁方案设计参考

问到自闭系列：
人脸识别的过程一般是什么？人脸检测>人脸对齐->人脸特征提取->人脸特征比对
检测、对齐、特征提取都用了什么方法？比对呢？框架是什么？如何判断真人还是照片？你说的阴影光照之外还有什么更有效的？运动识别可以吗？怎么做？常用的运动识别方法有什么？准确率怎样？响应延迟怎样？对于穿戴其他物品识别系统的鲁棒性怎样？有光照、阴影呢，影响大吗？与现有常用的人脸门禁对比你的优劣，创新点？还有什么缺陷？优化的方向是什么？
人脸识别的优缺点

步骤:
搜集数据
数据准备
选择模型
训练模型
评估模型
参数微调
预测

项目四: 安检机物品检测(尝试利用图像识别协助安检)

检测

安检机识别常见图
安检机图像的识别技巧
安检机图像识别方法有哪些?

问到自闭系列:
用的什么网络？为什么？检测中图片格式是什么？数据集不够？分割怎么做的？语义分割怎么实现的？分割的一般方法？分割的发展？多分割是什么？怎么做的？安检机中录入的图片格式？准确度？有什么缺陷或不足吗？这现象的原因是什么？如何优化？对于提高模型的准确度和速度有什么想法吗？准确度和速度的权衡决策是什么？

步骤:
搜集数据
数据准备
选择模型
训练模型
评估模型
参数微调
预测

项目五: 商品定位与识别

定位 图像提取 商品检测 识别
基于深度学习的超市商品图像识别方法研究_结构
grabcut图像分割的原理简单介绍
快消品图像识别丨无人店背后的商品识别技术
无人超市原理揭秘：你知道无人便利店怎么识别商品和付款吗
Amazon Go刷爆朋友圈 无人超市在规模和识别率上存短板
亚马逊的无人超市Amazon Go：黑科技还是创新革命？
亚马逊无人超市便利店和京东阿里无人店区别是什么

问到自闭系列:
超市中上万种物品的目标定位、检测和识别各自的实现细节什么？网络是什么？定位准确吗？需要进行细粒度分类吗？细粒度分类的方法有哪些？如何划分一、二级标签？人工划分吗？数据有多大？响应延迟怎么样？准确度呢？与市场上应用的系统对比你的优劣是什么？优化方向？方法能讲讲吗？

步骤:
搜集数据
数据准备
选择模型
训练模型
评估模型
参数微调
预测

项目六: 行人重识别

检测

行人重识别数据集
行人重识别-数据集(解析+以上数据集)
行人重识别(baike)
行人重识别(ReID)概述
行人重识别简介

图像检索综述(图像检索子问题:ReID)
(图像检索找出几十年前的罪犯就是图像检索的应用)

中科院&地平线开源state-of-the-art行人重识别算法EANet
ReID学习资料(代码、视频、文章)
CVPR2018 TFusion 解决行人重识别问题
腾讯优图行人重识别算法突破成世界第一
阿里行人重识别(ReID)算法刷新业内新纪录
使用 AlignedReID 来实现行人重识别的具体应用指南

问到自闭系列:
tf动态图是什么？数据来自哪里？多大？说一个所用的网络？实例识别(此处是人)中遇到的难点？用到分类吗？视频分类怎么做？如何判重？多个人靠在一起变成一个框怎么办？这里的IOU怎么计算？运动中的人对检测的影响？会破坏准确率吗？如何解决/改进？目标检测的方法？发展？

步骤:
搜集数据
数据准备
选择模型
训练模型
评估模型
参数微调
预测

//最后一个"2) 钢筋数量AI识别"备选，其实也挺想做的，看时间吧

参考已有方法/应用:
马脸识别
facebook数据蒸馏
运动规律建模
树莓派上NCS模型部署
多尺度融合
模型融合
行为识别技术

下面主要是GAN和CVPR方面的论文：
(由于工作是论文驱动，项目也源于论文的指导，所以论文放在了项目后作参考)

一些GAN经典网络/应用:
GAN
10_1_Plug & Play Generative Networks_合成惊艳新图片.pdf
10_2_Adversarial Learning for Neural Dialogue Generation_GAN生成神经对话.pdf
10_3_seqGAN.pdf
10_4_Mode Seeking Generative Adversarial Networks for Diverse Image Synthesis_MSGAN生成多样图像CVPR19.pdf
10_5_StyleGAN.pdf
10_6_StackGAN.pdf
10_7_StackGAN++- Realistic Image Synthesis with Stacked Generative Adversarial Networks.pdf
10_8_dversarial Feature Matching for Text Generation_GAN能生成文字.pdf
10_9_Semantic Image Synthesis with Spatially-Adaptive Normalization_语义图像合成
10_10_Connecting Generative Adversarial Networks and Actor-Critic Methods_GAN和演员评论法.pdf

references:
十款神奇的GAN，总有一个适合你
GAN中的高级主题

以下主要是CVPR2018的一些趣文，如下20(8+12)篇:

1. 1/8_cvpr18-Weakly Supervised Facial Action Unit Recognition Through Adversarial Training.pdf
2. 2/8_cvpr18-Wasserstein Introspective Neural Networks.pdf
3. 3/8_cvpr18-VizWiz Grand Challenge Answering Visual Questions From Blind People.pdf
4. 4/8_VITON
5. 5/8_VITAL.pdf
6. 6/8_cvpr18-Visual Question Reasoning on General Dependency Tree.pdf
7. 7/8_cvpr18-Visual Grounding via Accumulated Attention.pdf
8. 8/8_cvpr18-Vision-and-Language Navigation Interpreting Visually-Grounded Navigation Instructions in Real Environments.pdf
9. 12_1_cvpr18-Zero-Shot Recognition via Semantic Embeddings and Knowledge Graphs.pdf
10. 12_2_cvpr18-Weakly Supervised Instance Segmentation Using Class Peak Response.pdf
11. 12_3_cvpr18-Zigzag Learning for Weakly Supervised Object Detection.pdf
12. 12_4_cvpr18-Weakly-Supervised Semantic Segmentation Network With Deep Seeded Region Growing.pdf
13. 12_5_cvpr18-Wrapped Gaussian Process Regression on Riemannian Manifolds.pdf
14. 12_6_cvpr18-Where and Why Are They Looking Jointly Inferring Human Attention and Intentions in Complex Tasks.pdf
15. 12_7_cvpr18-What Have We Learned From Deep Representations for Action Recognition .pdf
16. 12_8_cvpr18-Zero-Shot Kernel Learning.pdf
17. 12_9_cvpr18-When Will You Do What - Anticipating Temporal Occurrences of Activities.pdf
18. 12_10_cvpr18-What Makes a Video a Video Analyzing Temporal Information in Video Understanding Models and Datasets.pdf
19. 12_11_cvpr18-Weakly Supervised Learning of Single-Cell Feature Embeddings.pdf
20. 12_12_201X_1_Bundle_adjustment_in_the_large.pdf