Linux C/C++ 读写超过2G的大文件 注意事项

背景

在项目中做大文件的增量读写，遇到了问题：

fopen : Value too large for defined data type.

根据这个提示查阅的有关资料显示：

• 工具链太老了：海思的工具链我目前找不到更换的方法

• 文件系统的 inde是 64位的：查看了 cat /proc/fs/{文件系统类型}/{设备名}/options，发现一切正常

• inode32最多能表达数字是4294967295，如果文件属性中的inode超过这个上限，就说明是inode64的。

• 比较老的交叉编译器，只支持32位inode的文件访问，当遇到超过4294967295的文件，就会编译出错并提示：Value too large for defined data type

解决方案

• 升级交叉编译器版本，让其支持inode64的源文件。
• 交叉编译器版本不变，将文件系统挂载属性从inode64改为inode32。

换了个思路，直接根据需求查找： Linux C 读写大文件。

了解到了有关信息

Linux默认环境下打开、读、写超过2G的文件会返回错误。

定义如下宏可以突破这个限制，对read/write和fread/fwrite同时有效。

注意它必须定义在所有头文件之前。

#define _LARGEFILE_SOURCE
#define _LARGEFILE64_SOURCE
#define _FILE_OFFSET_BITS 64

fseek获取大于4G的文件大小的问题
转载 凌风探梅 最后发布于2015-06-23 23:30:50 阅读数 3154 收藏
展开

最近在获取文件大小上遇到了问题，因为这到处找问题，最后才发现原来是在获取文件大小的时候出现了问题。言归正传：

以前获取文件大小的时候是这么做的：

fseek(fp,0,SEEK_END);

_length=ftell(fp);

fseek( fp, 0, SEEK_SET);

这个样子正常情况下是没问题的，但是在读取大于3、4G的时候就出现读错的情况，要么是-1，要么是_length数据类型的最大值，总之都是不对的。

解决办法是：

fpos_t pos;
fseek(fp,0,SEEK_END);
fgetpos(fp,&pos);
fseek( fp, 0, SEEK_SET);

pos即为文件的大小了，特地查了一下fpos_t，这个数据类型是定义在stdio.h文件里面的

        typedef __int64 fpos_t;

可以了，就是这么个意思，这个样子就不用另外加什么库，或者有些说的用什么api或是windows就可以解决了！

ftell()与fgetpos，fseek与fsetpos (2013-04-28 16:34:10)
分类： 编程

这些都是C标准库中对文件定位相关的函数。

ftell与fseek一起使用，fsetpos与fgetpos一起使用。ftell与fseek返回的是长整数，而后面两个则是返回一个新类型（fpos_t）

ftell() 和 fseek() 用长整型表示文件内的偏移 (位置), 因此, 偏移量被 限制在 20 亿 (231-1) 以内。而新的 fgetpos() 和 fsetpos() 函数使用 了一个特殊的类型定义 fpos_t 来表示偏移量。这个类型会适当选择, 因此, fgetpos() 和 fsetpos 可以表示任意大小的文件偏移。fgetpos() 和 gsetpos() 也可以用来记录多字节流式文件的状态。

基于 mmap 的 大文件读写

Linux C/C++ 读写超过2G的大文件 注意事项

原文：https://www.cnblogs.com/schips/p/12456653.html