split [-bl] file [prefix]
参数说明:
-b, --bytes=SIZE:对file进行切分,每个小文件大小为SIZE。可以指定单位b,k,m。
-l, --lines=NUMBER:对file进行切分,每个文件有NUMBER行。
prefix:分割后产生的文件名前缀。
示例:
假设要切分的文件为test.txt,大小1.2M,12000行。
1)
split -l 5000 test.txt
生成xaa,xab,xac三个文件。
wc -l 看到三个文件行数如下:
5000 xaa
5000 xab
2000 xac
haiou@gpu3-1080:/home/hd_1T/haiou/testdata/termselect/data$ split -l 1925 turkerSalientTermsWithOmnibus-v3.tsv-processed.jsonl haiou@gpu3-1080:/home/hd_1T/haiou/testdata/termselect/data$ ls turkerSalientTermsWithOmnibus-v3.tsv turkerSalientTermsWithOmnibus-v3.tsv-processed.jsonl xaa xab haiou@gpu3-1080:/home/hd_1T/haiou/testdata/termselect/data$ wc * 2407 86520 778512 turkerSalientTermsWithOmnibus-v3.tsv 2407 912352 5479332 turkerSalientTermsWithOmnibus-v3.tsv-processed.jsonl 1925 721819 4341864 xaa 482 190533 1137468 xab 7221 1911224 11737176 total
2)
split -b 600k test.txt
生成xaa,xab两个文件
ls -lh 看到 两个文件大小如下:
600K xaa
554K xab
3)
split -b 500k test.txt example
得到三个文件,文件名的前缀都是example
ls -lh 看到文件信息如下:
500K exampleaa
500K exampleab
154K exampleac
参考:https://blog.csdn.net/qmhball/article/details/7917033
原文:https://www.cnblogs.com/hozhangel/p/10826199.html