关系型数据库和MapReduce

简书賈小強
转载请注明原创出处，谢谢！

关系型数据库被广泛应用在数据存储检索，而以MapReduce为基础的大数据更号称非常善于处理海量的数据，本文将对两者进行分析

关系型数据库

关系型数据库的典型操作为查询出分布数据库多张表某些行和某些列的数据，然后可以进行分组，聚合（最大值，最小值，求和等），如下形式

SELECT col1,col2...
FROM table1
INNER JOIN table2 on table1.id=table2.table1_id
WHERE condition
GROUP BY xx

甚至可以完成根据多层key的value值聚合，按照col1，col2，col3分组后col4值的列转行(其中col2又根据不同关键字对应成只有3种结果)，如下形式

WITH table1 AS (
            SELECT
            col1,
            CASE
                WHEN LOWER(col2) LIKE '%keyword10%' THEN 'keyword1'
                WHEN LOWER(col2) LIKE '%keyword20%' THEN 'keyword2'
                WHEN LOWER(col2) LIKE '%keyword30%' THEN 'keyword3'
            END AS col2x,
            col3,
            col4
            FROM (
                    更多子查询：为行列组成的二维数据
                  ),
table2 AS (
           SELECT *
           FROM table1
           WHERE col2s IS NOT NULL
                 )
SELECT
    col1,
    col2x,
    col3,
    listagg(round(col4, 2), ',') WITHIN GROUP (ORDER BY col4) AS col4s\
FROM table2
GROUP BY col1, col2x, col3

上面的例子只是举例说明了关系型数据库能够怎样处理数据，实际上关系型数据库还有自身的优点，比如：安全（事务导致），高效（BTree索引导致）

那么什么样的问题适合关系型数据库呢？
1，对安全（事务）有要求的需求
2，对实时查找效率有要求的需求

关系型数据库实际上就是一种组织数据的形式而已，但问题是不同形式的数据表现出了不同的效率，而其并没有这种转换能力，或者说其并没有从海量文件数据中提取有用数据的能力，它的数据都是准备好，有良好规范约束的

关系型数据库通过分库实际上也是可以获得多硬件支持的，但是其并不具有处理海量数据从原始数据提取变形的能力，关系型数据库的数据提取变形是在已经入库的数据上，当然是可以写成简单有效的程序多进程分布式入库的

MapReduce

比如Java中Hadoop框架实现了MapReduce，它是一种编程模式，可以将程序员从分布式的复杂性中解放出来，也就说使用Hadoop框架，不仅可以获得分布式计算，分布式储存多硬件支持的能力，还可以避免处理分布式编程中的各种难点，比如可以用于

基于海量数据模拟SQL的操作
通过MapReduce是可以模拟出SQL的效果的，比如分组计数，最大值，最小值，求和等等
预处理和直接处理
Google建立全球反向索引，首先很多爬虫爬取全球网站，然后将爬到的文档交给MapReduce系统建立反向索引，最后将结果存在数据库，于是经过MapReduce的预处理可以实现快速的关键字查找，否则直接查找全球网站将花费非常长的时间

下面是一个MapReduce的WordCount代码例子（相当于一般语言的HelloWorld入门程序）：

Maper

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
    
    @Override
    protected void map(LongWritable key, Text value,Context context) throws IOException, InterruptedException {
        String line = value.toString();
        String[] words=line.split(" ");
        for(String word:words){
            context.write(new Text(word), new IntWritable(1));
        }
    }
}

Reducer

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {
        int count = 0;
        for(IntWritable value:values){
            count+=value.get();
        }
        context.write(key, new IntWritable(count));
    }
}

从接口的角度可以说实在太简单，但是这样简单的模拟能够解决什么样的问题呢，或者说什么样的问题适合MapReduce？

数据量大，因为如果数据量少，根本没必要分布式利用多台电脑的硬件能力
并不是一个类似机器学习通过迭代的计算密集型任务，这种任务很难分布式，不过Spark这种基于内存的模型对机器学习也提供了一些支持
由于Map和Reduce函数可以编码，于是这里可以增加各种复杂逻辑，而不是SQL中有限的操作
将马上获取结果并没有关系型数据库有优势，优势在于第四点，可以灵活编码满足各种需求，于是可以作为关系型数据库的预处理系统

假设没有MapRedue，那么Google如何建立反向索引，会遇到什么瓶颈？

很多爬虫爬取全球网页
很多解析器解析爬取到的文档，建立单个文档的反向索引
将形如key1：1 2 3，key2：4 5 6各种写到key1表，key2表，由于key很多，这里每个解析器将和数据库建立对应key数量次连接，又由于解析器很多，那么数据库连接压力非常大，这里的连接只是为了将key对应的值聚合到一起（也就是写到一张表）
那么如果这里是MapReduce的话，聚合操作更加可控可以优化，从而可以聚合完key1：1 2 3 7 8 9 11 23 55 33 25...再建立一次连接写入，连接压力降低很多

结论

实际上看MapReduce并不能纯粹的和关系型数据库比较效率，因为两者用处并不完全一样，虽然有些地方可以达到类型的效果，我更觉得关系型数据库和MapReduce是可以相互辅助的，比如反向索引的例子

计算机科学，或者更具体编程无非将某种数据变形称另一种数据，而通过MapReduce这种变形能力可以变得更强

Happy learning !!