近期集中看了一些视频,记录一下

有时候觉得自己有些强迫症:对于感兴趣的细节,会花费极多的时间去爬取资料、去扣东扣西,弄得自己真实很累!

  • 比如,自己讲授OS课,按照课程的要求只要讲清楚概念和涉及到的算法即可,自己总是想弄明白 OS 到底是怎样制作出来的!为此,也在网上找了别人所谓深入到OS实现的课程和实验项目,但是,基本上没有覆盖"从无到有"的内容,而是成了类似"源码剖析"的形式。

  • 又比如自己想讲授 "高性能数据计算"(自己琢磨的名字,用以涵盖大致 "高性能计算+大数据+并行算法"的内容),其中,涉及到如何将很多的技术梳理出层次的问题,即,DOS会涉及 Logical Clock, Heartbeat, RPC/RMI,SOA,Hot Recovery, HA (High Availability), Consensus (PAXOS, RAFT, ZAB),Fault Tolerance (WAL)等,但是,缺乏生动的应用场景将这些东西层次化起来

    • 一个问题:(计)算的Crash 和 数据存取的Crash - 应该是不同的。见到的讨论的资料大多是针对后者;前者是如何解决呢?

近期集中看了收集到的一些视频,有些有助益,记录一下。

OS的那些视频

Write your own Operating System(自制操作系统)

虽然实现的OS很粗糙,甚至有个视频没有声音,但是,能让我一窥操作系统"从无到有"到底是怎样的!

image-20210714142205922

https://www.youtube.com/watch?v=1rnA6wpF0o4&list=PLai-xIlqf4Jn9VWc5icj3IcQj0a_ek7w0

基本上展示了如何从头制作一个 OS!

只是可惜没有给出一个支持新程序运行的例子:用户有个程序,制作的 OS 如何支持的。不过,还是能想象出来的:构建 PCB, 分配内存,将CPU交给程序。跟操作系统一样:操作系统使用整个MM;而程序在OS分配给它的空间中而已 – 有自己的变量、函数,甚至自己还要申请新的空间,然后,Machine Cycle 运行而已。

这样的视频,就是好视频 – 即便只是给出最简陋的一些管理算法,但,珍贵就珍贵在给出了较为完整的OS开发!要知道,最难的是从无到有!只有有了这个简陋的“平台”,才能在其上尽心完善、添加那些更为有效率的算法。

该作者还制作Build a Linux From Scratch

image-20210714142432066

找到了一个 UNIX 的历史影像,值得看看

image-20210714142542702

一本UNIX的书,也推荐看看

image-20210714142555341

Concurrent (Distributed or Parallel) Programs

里面涉及的东西很多(Logic Clock, WAL, HA, Fault Tolerance等),层次呢?-有了层次,就好记忆嘛

image-20210714142934357

E:\Local\HPC.PPTs.2021.Wide\04 Distributed OS02.pptx

有些"Distributed Systems"视频,讲了很多专题,但是,没有讲讲层次结构(供我参考、验证),有些遗憾

F:\My7\MyClasses\12.1 HPC\Videos\分布式系统 Distributed Systems (中英双语字幕)MIT 6.824(2020)

image-20210714102249166

F:\My7\MyClasses\12.1 HPC\Videos\华盛顿大学公开课:构建分布式系统CSEP 552 Distributed System

image-20210714102423441

开发框架

自己的课程中也要并发编程的内容,涉及到的 有 Multi-processed, Multi-Threaded, OpenMP, OpenACC, CUDA, MPI, Big Data (个人认为 Big Data 也可以作为一种编程风格/框架的)。觉得,OpenMP (觉得没有必要专门讲), MPI, CUDA, Big Data, 以及 Hybrid混合

image-20210714152114631
image-20210714152122055

对应不同的计算资源结构, Hybrid有:

  • Multi Core (CPU): OpenMP, 或 Multi-processed, Multi-Threaded
  • CPU + GPU 或 Multi-core + GPUs: MPI + CUDA
  • Distributed CPUs: MPI + OpenMP
  • Distributed + GPUs: MPI + CUDA

数据库的实现: 从 RDBMS 到 Distributed

觉得,重要的还是先去看看前面的"Write your own Operating System(自制操作系统)"

在对System Programming有了感觉后(即便是粗糙的),再看 DBMS的设计与实现才能真的有落地了的体会。

有些冠之以"Distributed Data",其实,讲的内容跟前面"Distributed Systems"重合

F:\My7\MyClasses\01.数据库实践课\Videos\Distributed Data Management 2015

F:\My7\MyClasses\01.数据库实践课\Videos\Distributed Data Management 2018

image-20210714144306212

阿里巴巴PolarDB-X 的诞生和发展

2003 年淘宝网成立之初采用的是经典的 LAMP 架构,随着用户量迅速增长,单机 MySQL 数据库很快便无法满足数据存储需求,之后淘宝网进行了架构升级,数据库改用 Oracle。随着用户量的继续快速增长,Oracle 数据库也开始成批成批的增加,即使这样,仍然没有满足业务对数据库扩展性的诉求,所以**阿里巴巴内部在 2009 年时发起了著名的去 IOE运动 **(IBM是服务器提供商,Oracle是数据库软件提供商,EMC则是存储设备提供商,三者构成了一个从软件到硬件的企业数据库系统),PolarDB-X 也开启了自己的演进之路。

image-20210714124049690

也是发现有了瓶颈,只能自己解决 - 要感谢开源

阿里巴巴的"云栖大会"

在网上找到的比较全的是2017年的,浏览其后几年的,应该2017年的算是比较值得看看的。

image-20210714124330668
image-20210714124403801

F:\My7\MyClasses\12.1 HPC\Videos\阿里云栖2017\阿里数据-数据库内核专场[1080P].flv

“异步提交” 提升效率 – 这显然是 System Programming 了

E:\Local\HPC.PPTs.2021.Wide\04 Distributed OS02.pptx

image-20210714124414027

F:\My7\MyClasses\12.1 HPC\Videos\阿里云栖2017\阿里云自研数据库POLARDB专场[1080P].flv

F:\My7\MyClasses\01.数据库实践课\PPTs-Training.2021\PPTs.2021.Wide\01 Introduction.pptx [PP 28]

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 210,978评论 6 490
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 89,954评论 2 384
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,623评论 0 345
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,324评论 1 282
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,390评论 5 384
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,741评论 1 289
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,892评论 3 405
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,655评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,104评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,451评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,569评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,254评论 4 328
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,834评论 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,725评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,950评论 1 264
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,260评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,446评论 2 348

推荐阅读更多精彩内容

  • C++ 开源库列表https://en.cppreference.com/w/cpp/links/libs[htt...
    老陕西阅读 2,070评论 0 0
  • 表情是什么,我认为表情就是表现出来的情绪。表情可以传达很多信息。高兴了当然就笑了,难过就哭了。两者是相互影响密不可...
    Persistenc_6aea阅读 124,418评论 2 7
  • 16宿命:用概率思维提高你的胜算 以前的我是风险厌恶者,不喜欢去冒险,但是人生放弃了冒险,也就放弃了无数的可能。 ...
    yichen大刀阅读 6,038评论 0 4