NAS迁移至OSS，目录迁移是顺序、随机判断

NAS目录迁移至OSS BUCKET，客户侧有问到NAS子目录的迁移顺序是顺序还是随机的

二、问题分析

1、问题分析

从经验来看，此类多线程的任务分配具有随机性，目录迁移还是与任务分配紧密相关。迁移过程中如果使用手工查看方式可能不足够支撑此类问题的确认。需要最终借助OSS文件生成的时间戳来进行判断
1) NAS目录结构

ls /kldjf
ccdp1 ccdp2 ccdp3 ccdp4

2) OSS目录结构

2、ossutil使用方法

wget http://gosspublic.alicdn.com/ossutil/1.7.1/ossutil64 
chmod 755 ossutil64
./ossutil64 config
输入endpoint ak sk

确认有执行权限
ossutil ls oss://kldjf | head -n 10

3、oss文件时间戳确认

针对不同目录进行时间段的统计，此处只统计2个:

 ./ossutil64 ls oss://kldjf/ccdp1 | awk {‘print $2‘} | sort | head -n 6
 ./ossutil64 ls oss://kldjf/ccdp1 | awk {‘print $2‘} | sort | tail -n 6

 ./ossutil64 ls oss://kldjf/ccdp2 | awk {‘print $2‘} | sort | head -n 6
 ./ossutil64 ls oss://kldjf/ccdp2 | awk {‘print $2‘} | sort | tail -n 6

 时间段:
 ccdp1 时间段为: 10:00-11:30
 ccdp2 时间段为: 11:00-12:30

三、结论

结论: 目录ccdp1与目录ccdp2内文件有时间交叉，说明迁移并不是完全顺序执行(按目录串行执行)，按一定的前后顺序并行进行。

NAS迁移至OSS，目录迁移是顺序、随机判断

原文：https://blog.51cto.com/keep11/2680459