大数据排序问题

问题

一个文件中有9亿条不重复的9位整数，对这个文件中数字进行排序

直接想法

9亿条（9e8）数据，每个数据能用int存储
因此所需要内存 9e8x4B = 3.6e9B = 3.6GB,这是装载所需要的 排序复杂度一般都是nlogn
因此需要的内存更大

方法一 数据库排序

将文本文件导入到数据库中，让数据库进行索引排序操作后提取数据到文件。

评价

操作简单， 运算速度较慢，对数据库设备要求较高

方法二 分治法

通过Hash法 将9亿条的数据分为20段，每段大约 5000万条，大概占用5e7x4 = 2e8B = 200MB内存
在文件中依次搜索 0-5000万，5000万+1 - 1亿 ....等等

评价

需要进行20次排序，缩小了每次使用的内存，但编码复杂，速度也慢

方法三 位图法

考虑9位数，所以从0 - 999999999 共10亿个数
然后我们用bit来表示 bit为0，代表不存在，bit为1 代表存在
因此我们需要 10e8 / 8 = 125M内存
然后用bitMap 扫一遍就可以了。

// N 表示数据量的多少
const int N = 1e7;

int bit[N/32 + 1];

void addValue(int n) {
    // n / 32
    int row = n >> 5;
    // n % 32
    bit[row] |= 1 << (n & 0x1F);
    return ;
}

bool exists(int n) {
    int row = n >> 5;
    return bit[row] & (1 << (n & 0x1F));
}

大数据排序问题

原文：https://www.cnblogs.com/Draymonder/p/10698967.html