应用程序如何读出SD卡里面一个较大文件

beishui

应用程序如何读出SD卡里面一个较大文件 [复制链接]

这个问题比较可笑吧。
可是我就是搞不定，
现在网上down下了一个例子程序，是读出SD卡的一个test.txt文件。

1. BOOL CSDMMCDlg::OnInitDialog()
   
2. {
   
3.         CDialog::OnInitDialog();
   
4. 
   
5.         // Set the icon for this dialog.  The framework does this automatically
   
6.         //  when the application's main window is not a dialog
   
7.         SetIcon(m_hIcon, TRUE);                                // Set big icon
   
8.         SetIcon(m_hIcon, FALSE);                        // Set small icon
   
9.        
   
10.         CenterWindow(GetDesktopWindow());        // center to the hpc screen
    
11. 
    
12.         // TODO: Add extra initialization here
    
13.         [color=#FF0000]m_strFileName = "test.txt";        [/color]                // 文件名
    
14.         UpdateData(FALSE);
    
15. 
    
16.         return TRUE;  // return TRUE  unless you set the focus to a control
    
17. }
    
18. 
    
19. 
    
20. // "创建文件/打开文件" 按键单击事件代码
    
21. void CSDMMCDlg::OnCreateFile()
    
22. {
    
23.         CString filename = "";
    
24.         UpdateData(TRUE);
    
25. 
    
26.         if (m_strFileName == "")
    
27.         {
    
28.                 MessageBox(_T("请输入文件名!"));
    
29.                 return;
    
30.         }
    
31.        
    
32.         // 取得文件名及路径
    
33.         filename = _T("\\Storage Card\") + m_strFileName;
    
34. 
    
35.         // 创建一个文件或打开一个文件
    
36.         hFile = CreateFile(filename, GENERIC_READ | GENERIC_WRITE, 0,
    
37.                                            NULL, OPEN_ALWAYS, FILE_ATTRIBUTE_NORMAL, NULL);
    
38.         if (hFile == INVALID_HANDLE_VALUE)
    
39.         {
    
40.                 MessageBox(_T("在SD/MMC卡上创建文件失败!"));
    
41.                 return;
    
42.         }
    
43. 
    
44.         MessageBox(_T("成功创建/打开文件:") + filename);
    
45. }
    
46. 
    
47. // "读" 按键单击事件代码
    
48. void CSDMMCDlg::OnReadfile()
    
49. {
    
50.         DWORD filelen,actlen;
    
51.         char *pcharbuff;
    
52. 
    
53.         if (hFile == INVALID_HANDLE_VALUE)
    
54.         {
    
55.                 MessageBox(_T("文件未打开!"));
    
56.                 return;       
    
57.         }
    
58.        
    
59.         filelen = GetFileSize(hFile, NULL);                                                        /* 获取文件大小 */
    
60.         if (filelen == 0xFFFFFFFF)//文件为什么不能是4G？
    
61.         {
    
62.                 MessageBox(_T("获取文件大小失败!"));
    
63.                 return;       
    
64.         }
    
65. 
    
66.         BOOL ret = SetFilePointer(hFile, 0, NULL, FILE_BEGIN);                /* 移动文件指针到文件开头 */       
    
67.         if (ret == 0xFFFFFFFF)
    
68.         {
    
69.                 MessageBox(_T("将文件指针移至文件开头失败!"));
    
70.                 return;       
    
71.         }
    
72. 
    
73.         pcharbuff = new char[filelen];
    
74.         ret = ReadFile(hFile, pcharbuff, filelen, &actlen, NULL);        /* 从文件中读出数据 */
    
75.         if (ret == TRUE)
    
76.         {
    
77.                 LPTSTR pStr = m_strDisp.GetBuffer(filelen);       
    
78.                 // 将字节转化为 Unicode 字符串
    
79.                 MultiByteToWideChar(CP_ACP, 0, pcharbuff, filelen, pStr, filelen);
    
80.                 m_strDisp.ReleaseBuffer();
    
81.                 UpdateData(FALSE);                                        /* 将读出的数据显示出来 */
    
82.                 MessageBox(_T("读文件成功!"));       
    
83.         }
    
84.         else
    
85.         {
    
86.                 UpdateData(FALSE);
    
87.                 MessageBox(_T("读文件失败!"));       
    
88.         }
    
89. 
    
90.         if (pcharbuff != NULL)
    
91.                 delete[] pcharbuff;       
    
92. }

复制代码

读txt等小文件是没有问题，但是当我把文件换成NK.nb0（30M）就读取失败了，怎么回事？
是不是new不能分配那么大的内存？
如果确实是这个原因，那应该怎么样做才能读出这么大的文件呢？
谢谢。

feigou

哈哈，怎么发了两个啊？

好正好散分，
大家帮帮忙解决一下。

zhang223

我的平台是2440+64M SDRAM

这个new的内存应该是虚拟内存吧。

内存显示30M，估计被NK占用了30多M

baoaboo

这个思路就不对，应该是分段读，不能一次全部读到内存中。

keiyi

我觉得有两个方法可以解决你的问题吧
1. 参考这个贴子,如何使用大于32M的内存,不过你的内存大小毕竟还是有限的,所以请参考第2个方法
http://topic.eeworld.net/u/20081126/17/0E05D29C-56C8-4A74-9077-CD7B8E50B653.html
2. 就是每次读固定大小的内容,比如1M,分多次读,然后做处理,这样的话无论多大的文件都可以处理

microwave1

更新还真快,我去翻一下以前的旧贴子,都已经有好几个人回答问题了

随便

引用 5 楼 hzdysymbol 的回复:
更新还真快,我去翻一下以前的旧贴子,都已经有好几个人回答问题了

哈哈，你最近好狠啊。分数涨的好快。看你上班貌似不用code的样子(*^__^*) 嘻嘻……

johnners

我一直写代码的,不过最近开始转做Android,现在主要还是学习
最近回答问题比较勤快,所以分数涨得挺快的
接下来可能要少上来一点了,上班时间基本就看看,不回答问题了

332820439

引用 6 楼 gooogleman 的回复:
引用 5 楼 hzdysymbol 的回复:
更新还真快,我去翻一下以前的旧贴子,都已经有好几个人回答问题了


哈哈，你最近好狠啊。分数涨的好快。看你上班貌似不用code的样子(*^__^*) 嘻嘻……

不过我看你学习还是很勤奋的,基本上都不休息,有前途
我每天除了上班干活,下班后从来不加班的

greylove

我是没有事情干，整天上网。
回家就上，不是电影就是论坛了。
以后不想这样了，生活太单调了。

yushulei

引用 7 楼 hzdysymbol 的回复:
我一直写代码的,不过最近开始转做Android,现在主要还是学习
最近回答问题比较勤快,所以分数涨得挺快的
接下来可能要少上来一点了,上班时间基本就看看,不回答问题了

Android专门用在手机上的吗？

能不能弄到一些工控，PDA上，吗，。完全免费啊。
应用程序开发工具也配套？

gouri

代码是看完了。考虑用CFILE来处理下。可能会解决问题。换一个思路

huangmin0728

如果文件太大，一次读不到内存中，还有一个问题就是SD卡中也应该是分段读取的。也要看驱动一次最多可以支持读取多大的数据块了。

SPEED

不明白你什么意思，ＧＯＯＯＧＬＥＭＡＮ，你不是要在驱动中作优化吗？咋么跑应用层上来了，而且还是用的框架做的：）呵呵．如果是应用层来解决这个问题的话原则就是用哪段读哪段．不用的就释放．
ＡＮＤＲＯＩＤ基本上是不推荐用到工控上来了，因为一开始的ＤＥＳＩＧＮ就是为了给通讯设备用，关注用户体验，做ＵＩ极强，而且方便．不过实时性稳定性各方面应该没有太多保证：）如果你感兴趣可以和你私聊这个操作系统：）

yang_0799

引用 13 楼 BEYONDMA 的回复:
不明白你什么意思，ＧＯＯＯＧＬＥＭＡＮ，你不是要在驱动中作优化吗？咋么跑应用层上来了，而且还是用的框架做的：）呵呵．如果是应用层来解决这个问题的话原则就是用哪段读哪段．不用的就释放．
ＡＮＤＲＯＩＤ基本上是不推荐用到工控上来了，因为一开始的ＤＥＳＩＧＮ就是为了给通讯设备用，关注用户体验，做ＵＩ极强，而且方便．不过实时性稳定性各方面应该没有太多保证：）如果你感兴趣可以和你私聊这个操作系统：）

我一开始就是想用EVC的API函数啊。
谢谢。这个问题只是我没有做过，应该对做应用的是小问题。
我的和驱动打交道的部分还在后面，先弄这个应用的先。

wangzelin311

1. The following code example shows how to append one file to the end of another file. The example uses the CreateFile function to open two text (.txt) files: One.txt for reading and Two.txt for writing. Then, the example uses the ReadFile and WriteFile functions to append the contents of One.txt to the end of Two.txt by reading and writing 4-KB blocks.
   
2. 
   
3. void AppendExample (void)
   
4. {
   
5.   HANDLE hFile, hAppend;
   
6.   DWORD dwBytesRead, dwBytesWritten, dwPos;
   
7.   char buff[4096];
   
8.   TCHAR szMsg[1000];
   
9. 
   
10.   // Open the existing file.
    
11. 
    
12.   hFile = CreateFile (TEXT("\\ONE.TXT"),      // Open One.txt
    
13.                       GENERIC_READ,           // Open for reading
    
14.                       0,                      // Do not share
    
15.                       NULL,                   // No security
    
16.                       OPEN_EXISTING,          // Existing file only
    
17.                       FILE_ATTRIBUTE_NORMAL,  // Normal file
    
18.                       NULL);                  // No template file
    
19. 
    
20.   if (hFile == INVALID_HANDLE_VALUE)
    
21.   {
    
22.     // Your error-handling code goes here.
    
23.     wsprintf (szMsg, TEXT("Could not open ONE.TXT"));
    
24.     return;
    
25.   }
    
26. 
    
27.   // Open the existing file, or, if the file does not exist,
    
28.   // create a new file.
    
29. 
    
30.   hAppend = CreateFile (TEXT("\\TWO.TXT"),      // Open Two.txt.
    
31.                         GENERIC_WRITE,          // Open for writing
    
32.                         0,                      // Do not share
    
33.                         NULL,                   // No security
    
34.                         OPEN_ALWAYS,            // Open or create
    
35.                         FILE_ATTRIBUTE_NORMAL,  // Normal file
    
36.                         NULL);                  // No template file
    
37. 
    
38.   if (hAppend == INVALID_HANDLE_VALUE)
    
39.   {
    
40.     wsprintf (szMsg, TEXT("Could not open TWO.TXT"));
    
41.     CloseHandle (hFile);            // Close the first file.
    
42.     return;
    
43.   }

复制代码

上面不是动态申请内存，也可以弄到4K，
不过我不懂每次读10K的话，我怎么找到原来文件读的位置。

请大家指点一下，这个EVC确实不懂用，

colin.yao

1. 在网上找了很久找不到资料
   
2. 在google里面输入read large file
   
3. 才有
   
4. http://blog.eeworld.net/EricYeung/archive/2008/07/16/2659574.aspx
   
5. Use MemoryMapFile to read large file收藏
   
6. 新一篇: C# join DataTable (support Left/Right/Full join) | 旧一篇: sql split path
   
7. // FileMapTest.cpp : Defines the entry point for the console application.
   
8. //
   
9. 
   
10. #include "stdafx.h"
    
11. #include "FileMapTest.h"
    
12. #ifdef _DEBUG
    
13. #define new DEBUG_NEW
    
14. #endif
    
15. 
    
16. #include "MtVerify.h"
    
17. 
    
18. // The one and only application object
    
19. 
    
20. CWinApp theApp;
    
21. 
    
22. using namespace std;
    
23. 
    
24. void ReadFileWithFileMap()
    
25. {
    
26.     DWORD dwStart = GetTickCount();
    
27. 
    
28.     HANDLE hLargeFile = CreateFile("C:\\LargeFile.txt", GENERIC_READ,
    
29.         FILE_SHARE_READ, NULL, OPEN_EXISTING, FILE_FLAG_SEQUENTIAL_SCAN, NULL);
    
30.     MTVERIFY(hLargeFile != NULL);
    
31. 
    
32.     HANDLE hFileMap = CreateFileMapping(hLargeFile, NULL, PAGE_READONLY,
    
33.         0, 0, NULL);
    
34.     MTVERIFY(hFileMap != NULL);
    
35. 
    
36.     SYSTEM_INFO SysInfo;
    
37.     GetSystemInfo(&SysInfo);
    
38.     DWORD dwGran = SysInfo.dwAllocationGranularity;
    
39.     DWORD dwFileSizeHigh;
    
40.     __int64 qwFileSize = GetFileSize(hLargeFile, &dwFileSizeHigh);
    
41.     qwFileSize |= (((_int64)dwFileSizeHigh) << 32);
    
42. 
    
43.     CloseHandle(hLargeFile);
    
44. 
    
45.     DWORD dwBlockBytes = dwGran * 1000;
    
46.     if (dwBlockBytes > qwFileSize)
    
47.         dwBlockBytes = (DWORD)qwFileSize;
    
48. 
    
49.     printf("SysInfo.dwAllocationGranularity = %d, FileSize = %d, BlockBytes = %u\n",
    
50.         dwGran, qwFileSize, dwBlockBytes);
    
51. 
    
52.     TCHAR *lpbMapAddress = (TCHAR *)MapViewOfFile(hFileMap,
    
53.         FILE_MAP_READ, 0, 0, dwBlockBytes);
    
54.     MTVERIFY(lpbMapAddress != NULL);
    
55. 
    
56.     //2007-08-17,09:45:13,20484.000000,20520.000000,20484.000000,20517.000000
    
57. 
    
58.     TCHAR *pStart = strstr(lpbMapAddress, "2007-08-17");
    
59.     TCHAR szData[1024];
    
60. 
    
61.     if (pStart)
    
62.     {
    
63.         TCHAR *pEnd = strchr(pStart, '\n');
    
64.         if (pEnd)
    
65.         {
    
66.             int nSize = pEnd - pStart;
    
67.             if (nSize > 1024) nSize = 1024;
    
68.             strncpy(szData, pStart, nSize);
    
69.             szData[nSize-1] = '\0';
    
70.             printf("Found data: %s\n", szData);
    
71.         }
    
72.     }
    
73. 
    
74.     UnmapViewOfFile(lpbMapAddress);
    
75.     CloseHandle(hFileMap);
    
76. 
    
77.     DWORD dwMs = GetTickCount() - dwStart;
    
78.     printf("Map test done, elapsed time = %d ms.\n", dwMs);
    
79. }
    
80. 
    
81. void ReadFileByLine()
    
82. {
    
83.     CStdioFile file;
    
84.     CString str;
    
85.     DWORD dwStart = GetTickCount();
    
86.     if (file.Open("C:\\LargeFile.txt", CStdioFile::modeRead))
    
87.     {
    
88.         while(file.ReadString(str))
    
89.         {
    
90.             if(strncmp(str.GetBuffer(0), "2007-08-17", 10) == 0)
    
91.             {
    
92.                 printf("Found data: %s\n", str.GetBuffer(0));
    
93.                 break;
    
94.             }
    
95.         }
    
96.         file.Close();
    
97.     }
    
98.     DWORD dwMs = GetTickCount() - dwStart;
    
99.     printf("Line-read test done, elapsed time = %d ms.\n", dwMs);
    
100. }
     
101. 
     
102. int _tmain(int argc, TCHAR* argv[], TCHAR* envp[])
     
103. {
     
104.     int nRetCode = 0;
     
105. 
     
106.     // initialize MFC and print and error on failure
     
107.     if (!AfxWinInit(::GetModuleHandle(NULL), NULL, ::GetCommandLine(), 0))
     
108.     {
     
109.         // TODO: change error code to suit your needs
     
110.         _tprintf(_T("Fatal Error: MFC initialization failed\n"));
     
111.         nRetCode = 1;
     
112.     }
     
113.     else
     
114.     {
     
115.         // TODO: code your application's behavior here.
     
116.         ReadFileWithFileMap(); //120 - 140 MS
     
117.         printf("\n");
     
118.         ReadFileByLine(); //2000+ MS
     
119.     }
     
120. 
     
121.     return nRetCode;
     
122. }

复制代码

SnowfoxMetal

Memory-Mapped FilesWindows CE supports both named and unnamed file-mapping objects. Unnamed files provide a method both for interprocess communication and as a way to allocate virtual memory regions larger than the 32-MB slot size limit.

In Windows CE, unnamed, or page file backed, memory-mapped files are not backed up by a page file nor do they have to be unnamed. The name of this type of memory-mapped file comes from Windows NT where an application could use the paging file of the OS to create a huge, sparse array of virtual pages. The memory-mapped file was unnamed because it was not backed up by a real file on the disk. In Windows CE, the created object can have a name and that name can be passed to other processes so they can access the same object.

yaodi_1985_84

引用 4 楼 hzdysymbol 的回复:
我觉得有两个方法可以解决你的问题吧
1. 参考这个贴子,如何使用大于32M的内存,不过你的内存大小毕竟还是有限的,所以请参考第2个方法
http://topic.eeworld.net/u/20081126/17/0E05D29C-56C8-4A74-9077-CD7B8E50B653.html
2. 就是每次读固定大小的内容,比如1M,分多次读,然后做处理,这样的话无论多大的文件都可以处理

照着hzdysymbol的提供帖子的方法来测试了一下，这样申请60M的内存成功了。
哎，付林林的文章居然说这下面函数是申请物理内存，真是非常令人失望——wince下怎么可能直接操作物理内存呢？难怪nbcool版主说付林林的文章很多错误了。
// "读" 按键单击事件代码

1. void CSDMMCDlg::OnReadfile()
   
2. {
   
3.         //------------alloc large memery test-----------------
   
4.         LPBYTE pBuffer = NULL;
   
5.         DWORD dwTotalSize = 60*1024*1024;
   
6.         HANDLE hFileMap = NULL;
   
7. 
   
8.         hFileMap = CreateFileMapping ((HANDLE)-1, NULL, PAGE_READWRITE, 0, dwTotalSize, 0);
   
9.         if (hFileMap)
   
10.         {
    
11.                 pBuffer = (LPBYTE)MapViewOfFile (hFileMap, FILE_MAP_WRITE, 0, 0, 0);
    
12.                 if (pBuffer)
    
13.                 {
    
14.                         MessageBox(_T("申请大容量60M内存成功!"));
    
15.                 //
    
16.                 // Use the data in the file.
    
17.                 //
    
18. 
    
19.                 // Start cleanup by unmapping view.
    
20.                         UnmapViewOfFile (pBuffer);
    
21.                         pBuffer = NULL;
    
22.                 }
    
23.                 CloseHandle (hFileMap);
    
24.                 hFileMap = NULL;
    
25. }
    
26. 
    
27. }

复制代码

yuewei167

这样分配成功了也不一定能保证正确使用，只是分配了60M的虚拟空间地址，相当于MEM_RESERVE
并没有对应到实际物理内存，当用到那一片内存的时候才会去MEM_COMMIT