最近经常收到一些开发小白的微信和QQ留言,问我刚刚上大学,学什么会有发比较有展。
1:我是一名大学新生,怎么样才能够快速发展起来
2:到底是学C/C++语言好还是学java好
3:学Java有发展还是学Python有发展
4:我想从事C/C++开发,该如何入门? 如何进阶 ?
特别高兴能看到这些网友给我留言,问这些问题,从侧面反映了你是一个积极向上,想不断努力来提升自己的人。如果拿这些问题问大学的老师,那老师心里会想,这小伙是一个很积极向上,想不断努力来提升自己阿。
我就先从一个简单的问题聊起,“到底 Android 开发有前途还是 iOS 开发有前途?”
其实这跟 “PHP是不是世界上最好的语言”?这不是扯蛋吗?只会引发争论,却没有什么实际价值,在我看来,无论是 Windows、Linux、Android 还是 iOS 开发,都没有什么优劣之分,它们其实都有着很多的共同点,那就是:都是基于操作系统提供的 API 完成特定需求的实现。
当然,也有些不同的地方,比如:
系统的 API 和特性不同。
编程语言不同,Windows/Linux 以 C/C++ 为主,Java web/Android 以 Java 为主,iOS 以 Object C/Swift为主等等。
但无论打算从事什么平台,学习曲线其实是类似的,都要经历差不多如下的环节:
1:学习对应平台的编程语言,如:C/C++,Java,Object C,net、Javascript、Python等:
2:熟悉对应平台提供的 API,如:UI 库,网络,文件,数据库, 图片处理,多媒体处理 等等
3:掌握平台相关的特性、框架和原理,如:Windows 的 WINSOCK,ODBC,WPF 等,Unix 的设计哲学,Android 的四大组件,iOS 的 MVC 模式等等:
4:通过具体的项目,熟悉和练手,达到可完成任意功能的开发
当你已经走到第 4 步了后,往往就会感觉遇到了瓶颈,产生如文章开头的问题,下一步何去何从 ?
其实我一直有一个观点,就是:
“基于平台的 API 做应用开发,并不是一个可以走得多远的方向,真正有价值的地方在于与具体的业务方向结合”。
比如:
网络安全
音视频
智能硬件
深度学习
大数据
其他(比如:金融、通信等)
在具体的业务领域,你可以慢慢沉淀下来,用自己的努力和时间换来对领域知识的深入理解和积累,逐渐从一个开发小白走向最懂这个行业的大牛。不要一味的说我要学人工智能、机器学习、大数据等等。如果作为一个小白,对编程语言C、C++、Java、Python都没有一门是自己特别熟练,那谈什么大数据、人工智能、机器学习。学IT的都知道哪些工资高,但想想工资高和有前途 并不代表适合你。我觉得如果掌握了编程语言,还需要掌握数据结构、计算机组成原理、操作系统、计算机网络、算法这些知识点,才能够走得更远。我个人觉得编程语言就是一个工具,我没有学过java如果领导如果给一周时间给我,我也可以马上上手项目,只有做到 万变不离其宗,才会走得更远。
智能硬件、深度学习、计算机视觉、大数据、网络安全、音视频等等我觉得都是建立在基础之上的,如果想走这方面的方向,一定一定要打好基础,基础有多深,后面的就能走多远。
下面举一个行业的技术路线给大家音视频开发,其实其他的智能硬件、深度学习、计算机视觉、大数据、网络安全等等也是一样的,只要掌握了编程语言,还需要掌握数据结构、计算机组成原理、操作系统、计算机网络、算法这些知识点,再学上面的方向,非常快,大家一定一定要打好基础。
音视频开发包括哪些内容
虽然一篇文章无法把音视频开发的知识点都介绍清楚,但是大概的学习路线还是可以梳理一下的,我们先看看下面这张图:
学习路线:
Audio:
MP3
mp4a/aac
wav
AC3/DRA/Real Audio
Video:
MPEG-1/2/4
H264
H265
HEVC
Real Video
Containers:
flv
avi
mp4
wmv
mkv(Matroska WebM)
mov
3gp
rmvb
Image:
bmp
jpg
png
gif
Stream Media:
protocol
P2P(UDP/TCP)
HTTP
HLS
RTMP
RTP、RTCP、RTSP
Microsoft's Smooth Streaming
Adobe's HDS
non-proprietary formats such as MPEG-DASH
CDN
Server
Windows Media Services 9
RealNetworks公司新近发布的Helix Platform
Apple新近发布的Darwin streaming server 4.1
multirate、multiscreen、adaptive、intelligent
high performance
stream media systems comparation
streaming media system lists
video services
Client:
FFmpeg
Render(SDL、DirectX、OpenGL)
Plugin(IE、Chrome、Firefox)
Cloud Transcoding
TV set(Set Top Box, STB)
Mobile Device(Pad, Phone, Auto)
下面再介绍一点简单的知识给大家,在这里仅仅做抛砖引玉,师傅领进门学艺靠个人。
成为专业的音频工程师还需要学习什么?
音视频基础知识:音视频采集、音视频硬件编解码、FFMpeg、视频渲染与OpengGL、X264优化、交叉编译与优化。WebRTC、音视频处理架构、网络传输、
音视频行业痛点:视频秒开、回音消除、音频降噪、视频出现花屏/卡顿/绿边、手机发烫、音视频同步。
如果你能在以上的行业痛点方面有一个领域特别牛逼,就是行业的大牛了。回到说基础知识哪里,一直建议大家一定要重视基础知识和算法就是这样,音视频用什么传输?那肯定是网络阿。
音视频在传输前,怎么打包的,如:FLV,ts,mpeg4 等 、
直播推流,有哪些常见的协议,如:RTMP,RSTP 等
直播拉流,有哪些常见的协议,如:RTMP,HLS,HDL,RTSP 等
基于 UDP 的协议有哪些?如:RTP/RTCP,QUIC 等
这些都是基于一些网络协议来进行传输,大家说网络知识重不重要。
还有回音消除,音频降噪等等是用什么算法实现的等等,所以数据结构和算法也是我一直说的重中之重的知识点。
其实说白了,音视频开发,就是要掌握图像、音频、视频的基础知识,并且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。
采集:它解决的是,数据从哪里来的问题
渲染:它解决的是,数据怎么展现的问题
处理:它解决的是,数据怎么加工的问题
传输:它解决的是,数据怎么共享的问题
每一个门类,都可以深挖,衍生出一个又一个充满技术挑战的话题,比如:如何更高效地渲染画面、如何提高音视频的压缩比,如何优化弱网下的音视频数据传输等等。
其实,音视频开发的技术积累,也没有那么难,带着问题去 Google,带着任务去实践,一切都不是问题,我们就从上面说的 4 个方向,逐个探索一下,有哪些知识点,是要我们去了解和掌握的。
采集
采集,它解决的是,数据从哪里来的问题,那么,数据究竟从哪里来的呢 ?
实无论在哪个平台,图像、视频最初都是来自摄像头,而音频最初都是来自麦克风,因此,做音视频采集,就要掌握如下的技术知识:
a. 系统的摄像头采集接口是什么,怎么用?
比如:
Windows:DirectShow
Linux:V4L2
Android:Camera
iOS:AVCaptureSession
b. 系统的摄像头采集的参数怎么配置,都是什么含义 ?
比如:分辨率、帧率、预览方向、对焦、闪光灯 等
c. 系统的摄像头输出的图像/视频数据,是什么格式,不同格式有什么区别 ?
比如:
图片:JPEG;
视频数据:NV21,NV12,I420 等
d. 系统的麦克风采集接口是什么,怎么用 ?
比如:
Windows:DirectShow
Linux:ALSA & OSS
Android:AudioRecord
iOS:Audio Unit
e. 系统的麦克风采集参数怎么配置,都是什么含义 ?
比如:
采样率、通道号、位宽等
f. 系统的麦克风输出的音频数据,是什么格式?
比如:
PCM
2.2 渲染
渲染,它解决的是,数据怎么展现的问题,那么,数据究竟怎么展现呢 ?
其实无论在哪个平台,图像、视频最终都是要绘制到视图上面,而音频最终都是要输出到扬声器,因此,做音视频渲染,就要掌握如下的技术知识:
a. 系统提供了哪些 API 可以绘制一张图片或者一帧 YUV 图像数据的 ?
比如:
Windows:DirectDraw, Direct3D, GDI,OpenGL 等
Linux: GDI, OpenGL 等
Android:ImageView,SurfaceView,TextureView,OpenGL 等
iOS: CoreGraphics,OpenGL 等
b. 系统提供了哪些 API 可以播放一个 mp3 或者 pcm 数据 ?
比如:
Windows:DirectSound 等
Linux:ALSA & OSS 等
Android:AudioTrack 等
iOS: AudioQueue 等
2.3 处理
处理,它解决的是,数据怎么加工的问题,那么,数据究竟可以怎么加工呢 ?
首先,我们看看图像/音视频的数据可以做哪些加工 ?
实无论在哪个平台,图像和音视频的加工,除了系统的 API,大多数都会依赖一些跨平台的第三方库的,通过掌握这些第三方库的原理和使用方法,基本上就可以满足日常音视频处理工作了,这些库包括但不限于:
a. 图像处理:OpenGL,OpenCV,libyuv,ffmpeg 等
b. 视频编解码:x264,OpenH264,ffmpeg 等
c. 音频处理:speexdsp,ffmpeg 等
d.音频编解码:libfaac,opus,speex,ffmpeg 等
因此,学习和掌握这些第三方库的使用,非常有必要。
2.4 传输
传输,它解决的是,数据怎么共享的问题,那么,数据究竟怎么共享呢 ?
共享,最重要的一点,就是协议。
我觉得互联网之所以能够如此蓬勃地发展,将整个世界都紧密联系在一起,其实是离不开 W3C 这个委员会的巨大贡献的,因为无论什么数据,要想在不同的国家、不同设备之间互联互通,离不开 “标准”,有了 “标准”,大家就能互相读懂对方。
因此,研究音视频传输,其实就是在研究协议,具体有哪些协议呢 ?
a. 音视频在传输前,怎么打包的,如:FLV,ts,mpeg4 等
b. 直播推流,有哪些常见的协议,如:RTMP,RSTP 等
c. 直播拉流,有哪些常见的协议,如:RTMP,HLS,HDL,RTSP 等
d. 基于 UDP 的协议有哪些?如:RTP/RTCP,QUIC 等
互联网环境下的音视频的传输,是一个非常有挑战和价值的方向,为了解决弱网下的传输延时、卡顿,提高用户体验,整个业界都在不断地进行着深入的探索和优化。
仅仅是举一个领域的,其实大家能够把基础知识:编程语言、数据结构、操作系统、计算机网络、算法等等这些基础知识掌握,然后出来工作的时候,在选一门自己喜欢的、行业发展比较好的方向深造、比如:智能硬件、深度学习、计算机视觉、大数据、网络安全、音视频等等。
总结
限于文章篇幅等原因,今天跟大家分享就到这里了,不管选泽什么路线,学习的路很长,更多的还是要靠自己去学习和实践,带着追求极致的精神去探索和优化,相信大家都能快速成长,成为真正的行业专家!
ps:部分整理自网络、部分来自七牛云卢俊的文章,如有侵权请联系删除。
喜欢本文的朋友们,欢迎长按下图关注
订阅号编程小兔崽,收看更多精彩内容