Hadoop

    搜索引擎：搜索组件、索引组件
        蜘蛛程序：

        存储：
            分析处理：

                2003年：The Google File System
                    2004年：MapReduce：Simplified Data Processing On Large Cluster
                    2006年：BigTable：A Distributed Storage System for Structure Data

                    HDFS + MapReduce = Hadoop
                    Hbase

                    Nutch

    批处理：

    函数式编程：
        Lisp, ML函数式编程语言：高阶函数；
                map, fold
                        map：
                                map(f())
                                    map：接受一个函数为参数，并将其应用于列表中的所有元素；从而生成一个结果列表
                          fold：
                                接受两个参数：函数，初始值
                                        fold(g(),init)

            mapreduce：
                mapper：
                    reducer：
                    shuffle and sort

Hadoop

原文：https://blog.51cto.com/smoke520/2388236