【嵌入式】基于FATFS/Littlefs文件系統(tǒng)的日志框架實現(xiàn)

1. 概述

2. 設計概要

3. 設計實現(xiàn)

3.1 初始化 `init`

3.2 日志寫入 `write`

3.3 日志讀取 `read`

3.4 注銷 `deinit`

3.5 全部代碼匯總

4. 測試

5. 總結

那么在移植好了文件系統(tǒng)之后，我們又應該如何應用文件系統(tǒng)呢？

很多人會說，這個簡單，就操作文件嘛！open、read、write、close不就行了嗎！當然對于簡單的使用，掌握open、read、write、close，去存儲一兩個文件或者從一兩個文件中簡單的讀取下數(shù)據(jù)這確實沒有什么難度。但在實際應用中，特別是產(chǎn)品開發(fā)過程中，往往不只是簡單的操作一兩個文件就可以的，如果真是這樣，那費那么大勁移植文件系統(tǒng)多少有點浪費！

在實際項目開發(fā)中，往往需要依托文件系統(tǒng)操作諸多的文件，操作諸多的數(shù)據(jù)。如通過配置文件配置機器設備信息、通過升級文件進行產(chǎn)品升級、通過存放字庫文件實現(xiàn)多語言支持等等，這些都是比較簡單的操作，讀寫不是很頻繁，相對來說實現(xiàn)比較簡單，還有一類需求讀寫會相當頻繁，且大多數(shù)產(chǎn)品內(nèi)都希望存在的，那便是日志文件，通過日志文件來記錄設備的運行數(shù)據(jù)。日志文件不同于其他功能，其往往需要具備幾個基本特性需求：

• 單個文件大小限制

• 日志總大小空間占用限制

• 自動循環(huán)覆蓋

網(wǎng)上也有一些開源的日志框架，如 Log4j，不過大都是基于 java / c ++ 實現(xiàn)的，雖然功能比較全面，但比較繁雜，且也難以移植應用于嵌入式開發(fā)中。而在嵌入式開發(fā)中，可能也受限于資源限制，并沒有發(fā)現(xiàn)不錯的基于文件系統(tǒng)的開源日志框架（至少博主目前沒有發(fā)現(xiàn)，有的話歡迎大家評論區(qū)討論 ），對于如何實現(xiàn)一個日志框架很多人一下子可能沒有頭緒，綜上，本文將分享一個簡單的基于文件系統(tǒng)的日志程序以供大家思考。

我們需要實現(xiàn)的日志模塊的核心需求為：

• 單個文件大小限制

• 日志總大小空間占用限制

• 自動循環(huán)覆蓋

對于一個模塊，對外僅需提供其操作的接口即可，內(nèi)部的算法實現(xiàn)均無需對外開放，而對于此日志模塊，對外只需提供基本的以下四個接口即可：

• 初始化 init

• 寫日志 write

• 讀日志 read

• 注銷 deinit

關于日志存儲的核心思想如下：

寫數(shù)據(jù)之前先判斷當前操作的文件是否超出單個文件大小限制，如超出大小限制則進行日志輪轉，創(chuàng)建一個新的日志文件并判斷日志文件總大小是否超出限制，如果超出則刪除最早的那一份日志文件

關于日志存儲的詳細設計如下：

日志文件格式采用：<filename>.log ，當當前文件達到單個文件大小之后，進行文件輪轉；

假定當前限制日志每個日志文件大小為2048Byte，最多存儲10個文件；

當當前文件達到單個文件大小之后，迭代修改日志文件名：

• <filename>.log -> <filename>.log.0

• <filename>.log.0 -> <filename>.log.1

• <filename>.log.1 -> <filename>.log.2

• …

• <filename>.log.8 -> <filename>.log.9

• 刪除 <filename>.log.9

ps:注意實際代碼操作的時候，文件修改順序是反過來的，也就是先 刪除 <filename>.log.9 再將<filename>.log.8 -> <filename>.log.9

初始化部分代碼主要功能是完成日志數(shù)據(jù)結構體的構造，并通過傳入?yún)?shù) log_file_cfg_t cfg 配置日志文件的配置信息，如單個日志文件大小、日志文件名、最多存放的日志文件數(shù)等內(nèi)容，日志模塊初始化部分代碼如下：

1. log_file_t log_storage_init(log_file_cfg_t cfg)

2. {

3.     log_file_t log = NULL;

4.     log_file_cfg_t log_cfg = NULL;

5.     log_file_read_t log_read = NULL;

6. 
   

7.     log = (log_file_t)malloc(sizeof(struct log_file_config));

8.     if (log == NULL)

9.         goto error;

10.     

11.     log_cfg = (log_file_cfg_t)malloc(sizeof(struct log_file_config));

12.     if (log_cfg == NULL) {

13.         free(log);

14.         log = NULL;

15.         goto error;

16.     }

17. 
    

18.     log_read = (log_file_read_t)malloc(sizeof(struct log_file_read));

19.     if (log_read == NULL) {

20.         free(log);

21.         log = NULL;

22.         free(log_cfg);

23.         log_cfg = NULL;

24.         goto error;

25.     }

26. 
    

27.     memcpy(log_cfg, cfg, sizeof(struct log_file_config));

28.     log_read->rotate_index = 0;

29.     log_read->file_offset = 0;

30.     

31.     log->cfg = log_cfg;

32.     log->read = log_read;

33.     log->user_data = NULL;

34. 
    

35. error:

36.     return log;

37. }

日志寫入部分代碼主要分為兩大部分，一部分是正常寫入，另一部分是文件輪轉；當寫入的文件超過單個文件大小限制時，即會觸發(fā)文件輪轉操作。

在文件輪轉中，主要做的是：創(chuàng)建一個新的日志文件并判斷日志文件總大小是否超出限制，如果超出則刪除最早的那一份日志文件，具體設計細節(jié)可參考上文設計概要中的詳細設計部分。

實現(xiàn)代碼如下：

1. static int log_rotate(log_file_t log)

2. {

3.     int ret = 0;

4.     FILE *fp;

5.     char old_filename[NAME_MAX + 10] = {0};

6.     char new_filename[NAME_MAX + 10] = {0};

7. 
   

8.     for (int i = log->cfg->rotate_num; i > 0; i --) {

9.         memset(old_filename, 0, sizeof(old_filename));

10.         memset(new_filename, 0, sizeof(new_filename));

11. 
    

12.         snprintf(old_filename, sizeof(old_filename), i ? "%s_%d.log" : "%s.log", log->cfg->filename, i - 1);

13.         snprintf(new_filename, sizeof(new_filename), "%s_%d.log", log->cfg->filename, i);

14. 
    

15.         printf("old:%s new:%s\n", old_filename, new_filename);

16.         

17.         if ((fp = fopen(new_filename, "r")) != NULL) {

18.             if (fclose(fp) != 0) {

19.                 ret = -1;

20.                 goto error;

21.             }

22.             if (remove(new_filename) != 0) {

23.                 ret = -2;

24.                 goto error;

25.             }

26.         }

27. 
    

28.         if ((fp = fopen(old_filename, "r")) != NULL) {

29.             if (fclose(fp) != 0) {

30.                 ret = -1;

31.                 goto error;

32.             }

33.             if (rename(old_filename, new_filename) != 0) {

34.                 ret = -3;

35.                 goto error;

36.             }

37.         }

38.     }

39. 
    

40. error:

41.     return ret;

42. }

43. 
    

44. int log_storage_write(log_file_t log, const unsigned char *buf, unsigned int len)

45. {

46.     int ret = 0;

47.     int file_size = 0;

48.     char full_filename[NAME_MAX + 5] = {0};

49.     FILE *fp = NULL;

50. 
    

51.     if (log == NULL || log->cfg == NULL || log->read == NULL || buf == NULL || len == 0) {

52.         ret = -1;

53.         goto param_error;

54.     }

55. 
    

56.     snprintf(full_filename, sizeof(full_filename), "%s.log", log->cfg->filename);

57.     

58.     printf("fullfilename:%s\n", full_filename);

59.     log_file_lock();

60. 
    

61.     fp = fopen(full_filename, "a+b");

62.     if (fp == NULL) {

63.         ret = -2;

64.         goto error;

65.     }

66. 
    

67.     fseek(fp, 0L, SEEK_END);

68.     file_size = ftell(fp);

69.     printf("file_size:%d\n", file_size);

70.     if ((file_size + len) > log->cfg->max_size) {

71.         if (fclose(fp) != 0) {

72.             ret = -3;

73.             goto error;

74.         }

75. 
    

76.         int j = 0;

77.         j = log_rotate(log);

78.         printf("log rotate:%d\n", j);

79.         fp = fopen(full_filename, "a+b");

80.         if (fp == NULL) {

81.             ret = -2;

82.             goto error;

83.         }

84.     }

85. 
    

86.     if (fwrite(buf, len, 1, fp) != 1) {

87.         fclose(fp);

88.         ret = -4;

89.         goto error;

90.     }

91. 
    

92. error:

93. if (fp != NULL) {

94. if (fclose(fp) != 0) {

95. ret = -3;

96. goto error;

97. }

98. }

99.     log_file_unlock();

100. param_error:

101.     return ret;

102. }

此處日志讀取在本文主題中非重點設計內(nèi)容，因此此處做簡單設計，通過傳入?yún)?shù)判斷應該讀取哪一份文件之后進行直接讀取。設計代碼如下：

1. int log_storage_read(log_file_t log, unsigned int rotate_num, unsigned char *buf, unsigned int *len)

2. {

3.     int ret = 0;

4.     int file_size = 0;

5.     char full_filename[NAME_MAX + 5] = {0};

6.     FILE *fp = NULL;

7. 
   

8.     if (log == NULL || log->cfg == NULL || log->read == NULL || buf == NULL || len == 0) {

9.         ret = -1;

10.         goto param_error;

11.     }

12. 
    

13.     if (rotate_num == 0)

14.         snprintf(full_filename, sizeof(full_filename), "%s.log", log->cfg->filename);

15.     else

16.         snprintf(full_filename, sizeof(full_filename), "%s.log.%d", log->cfg->filename, rotate_num);

17. 
    

18.     log_file_lock();

19. 
    

20.     fp = fopen(full_filename, "a+b");

21.     if (fp == NULL) {

22.         ret = -2;

23.         goto error;

24.     }

25.     /* check file length. */

26.     fseek(fp, 0L, SEEK_END);

27.     file_size = ftell(fp);

28.     printf("file_size:%d\n", file_size);

29.     if (file_size < *len)

30.         *len = file_size;

31. 
    

32.     fseek(fp, 0L, SEEK_SET);

33.     if (fread(buf, *len, 1, fp) != 1) {

34.         ret = -3;

35.         fclose(fp);

36.         goto error;

37.     }

38. 
    

39. error:

40. if (fp != NULL) {

41. if (fclose(fp) != 0) {

42. ret = -4;

43. goto error;

44. }

45. }

46.     log_file_unlock();

47. param_error:

48.     return ret;

49. }

注銷的主要功能是將我們在 init 時創(chuàng)建的數(shù)據(jù)結構進行回收，如果模塊內(nèi)部有功能處于打開裝填，也應關閉模塊的功能，此處我們僅需對 init 時創(chuàng)建的 log_file_t log 數(shù)據(jù)結構體進行注銷、內(nèi)存回收即可，具體代碼實現(xiàn)如下：

1. int log_storage_deinit(log_file_t log)

2. {

3. if (log == NULL)

4. return -1;

6. if (log->cfg != NULL)

7. free(log->cfg);

8. if (log->read != NULL)

9. free(log->read);

10. if (log->user_data != NULL)

11. free(log->user_data);

12. free(log);

13. return 0;

14. }

日志模塊內(nèi)核頭文件：simple_storage.h

1. #ifndef __SIMPLE_STORAGE_H__

2. #define __SIMPLE_STORAGE_H__

3. 
   

4. #define NAME_MAX        40

5. 
   

6. struct log_file_config {

7.     const char filename[NAME_MAX];     /* Filename of this type. */

8.     int max_size;       /* single file max size. */

9.     int rotate_num;     /* The number of files that support rotate. */

10. };

11. typedef struct log_file_config* log_file_cfg_t;

12. 
    

13. struct log_file_read {

14.     int rotate_index;   /* The rotate file index. */

15.     int file_offset;    /* The offset of the currently read file. */

16. };

17. typedef struct log_file_read* log_file_read_t;

18. 
    

19. struct log_file {

20.     log_file_cfg_t cfg;

21.     log_file_read_t read;

22.     void *user_data;

23. };

24. typedef struct log_file* log_file_t;

25. 
    

26. 
    

27. log_file_t log_storage_init(log_file_cfg_t cfg);

28. int log_storage_write(log_file_t log, const unsigned char *buf, unsigned int len);

29. int log_storage_read(log_file_t log, unsigned int rotate_num, unsigned char *buf, unsigned int *len);

30. int log_storage_deinit(log_file_t log);

31. 
    

32. 
    

33. #endif /* __SIMPLE_STORAGE_H__ */

日志模塊內(nèi)核文件： simple_storage.c

1. #include "simple_storage.h"

2. #include "simple_storage_port.h"

3. #include <stdio.h>

4. #include <string.h>

5. 
   

6. log_file_t log_storage_init(log_file_cfg_t cfg)

7. {

8.     log_file_t log = NULL;

9.     log_file_cfg_t log_cfg = NULL;

10.     log_file_read_t log_read = NULL;

11. 
    

12.     log = (log_file_t)malloc(sizeof(struct log_file_config));

13.     if (log == NULL)

14.         goto error;

15.     

16.     log_cfg = (log_file_cfg_t)malloc(sizeof(struct log_file_config));

17.     if (log_cfg == NULL) {

18.         free(log);

19.         log = NULL;

20.         goto error;

21.     }

22. 
    

23.     log_read = (log_file_read_t)malloc(sizeof(struct log_file_read));

24.     if (log_read == NULL) {

25.         free(log);

26.         log = NULL;

27.         free(log_cfg);

28.         log_cfg = NULL;

29.         goto error;

30.     }

31. 
    

32.     memcpy(log_cfg, cfg, sizeof(struct log_file_config));

33.     log_read->rotate_index = 0;

34.     log_read->file_offset = 0;

35.     

36.     log->cfg = log_cfg;

37.     log->read = log_read;

38.     log->user_data = NULL;

39. 
    

40. error:

41.     return log;

42. }

43. 
    

44. static int log_rotate(log_file_t log)

45. {

46.     int ret = 0;

47.     FILE *fp;

48.     char old_filename[NAME_MAX + 10] = {0};

49.     char new_filename[NAME_MAX + 10] = {0};

50. 
    

51.     for (int i = log->cfg->rotate_num; i > 0; i --) {

52.         memset(old_filename, 0, sizeof(old_filename));

53.         memset(new_filename, 0, sizeof(new_filename));

54. 
    

55.         snprintf(old_filename, sizeof(old_filename), i ? "%s_%d.log" : "%s.log", log->cfg->filename, i - 1);

56.         snprintf(new_filename, sizeof(new_filename), "%s_%d.log", log->cfg->filename, i);

57. 
    

58.         printf("old:%s new:%s\n", old_filename, new_filename);

59.         

60.         if ((fp = fopen(new_filename, "r")) != NULL) {

61.             if (fclose(fp) != 0) {

62.                 ret = -1;

63.                 goto error;

64.             }

65.             if (remove(new_filename) != 0) {

66.                 ret = -2;

67.                 goto error;

68.             }

69.         }

70. 
    

71.         if ((fp = fopen(old_filename, "r")) != NULL) {

72.             if (fclose(fp) != 0) {

73.                 ret = -1;

74.                 goto error;

75.             }

76.             if (rename(old_filename, new_filename) != 0) {

77.                 ret = -3;

78.                 goto error;

79.             }

80.         }

81.     }

82. 
    

83. error:

84.     return ret;

85. }

86. 
    

87. int log_storage_write(log_file_t log, const unsigned char *buf, unsigned int len)

88. {

89.     int ret = 0;

90.     int file_size = 0;

91.     char full_filename[NAME_MAX + 5] = {0};

92.     FILE *fp = NULL;

93. 
    

94.     if (log == NULL || log->cfg == NULL || log->read == NULL || buf == NULL || len == 0) {

95.         ret = -1;

96.         goto param_error;

97.     }

98. 
    

99.     snprintf(full_filename, sizeof(full_filename), "%s.log", log->cfg->filename);

100.     

101.     printf("fullfilename:%s\n", full_filename);

102.     log_file_lock();

103. 
     

104.     fp = fopen(full_filename, "a+b");

105.     if (fp == NULL) {

106.         ret = -2;

107.         goto error;

108.     }

109. 
     

110.     fseek(fp, 0L, SEEK_END);

111.     file_size = ftell(fp);

112.     printf("file_size:%d\n", file_size);

113.     if ((file_size + len) > log->cfg->max_size) {

114.         if (fclose(fp) != 0) {

115.             ret = -3;

116.             goto error;

117.         }

118. 
     

119.         int j = 0;

120.         j = log_rotate(log);

121.         printf("log rotate:%d\n", j);

122.         fp = fopen(full_filename, "a+b");

123.         if (fp == NULL) {

124.             ret = -2;

125.             goto error;

126.         }

127.     }

128. 
     

129.     if (fwrite(buf, len, 1, fp) != 1) {

130.         fclose(fp);

131.         ret = -4;

132.         goto error;

133.     }

134. 
     

135. error:

136. if (fp != NULL) {

137. if (fclose(fp) != 0) {

138. //TODO: check the amount of disk space, delete if there is not enough space.

139. ret = -3;

140. goto error;

141. }

142. }

143.     log_file_unlock();

144. param_error:

145.     return ret;

146. }

147. 
     

148. int log_storage_read(log_file_t log, unsigned int rotate_num, unsigned char *buf, unsigned int *len)

149. {

150.     int ret = 0;

151.     int file_size = 0;

152.     char full_filename[NAME_MAX + 5] = {0};

153.     FILE *fp = NULL;

154. 
     

155.     if (log == NULL || log->cfg == NULL || log->read == NULL || buf == NULL || len == 0) {

156.         ret = -1;

157.         goto param_error;

158.     }

159. 
     

160.     if (rotate_num == 0)

161.         snprintf(full_filename, sizeof(full_filename), "%s.log", log->cfg->filename);

162.     else

163.         snprintf(full_filename, sizeof(full_filename), "%s.log.%d", log->cfg->filename, rotate_num);

164. 
     

165.     log_file_lock();

166. 
     

167.     fp = fopen(full_filename, "a+b");

168.     if (fp == NULL) {

169.         ret = -2;

170.         goto error;

171.     }

172.     /* check file length. */

173.     fseek(fp, 0L, SEEK_END);

174.     file_size = ftell(fp);

175.     printf("file_size:%d\n", file_size);

176.     if (file_size < *len)

177.         *len = file_size;

178. 
     

179.     fseek(fp, 0L, SEEK_SET);

180.     if (fread(buf, *len, 1, fp) != 1) {

181.         ret = -3;

182.         fclose(fp);

183.         goto error;

184.     }

185. 
     

186. error:

187. if (fp != NULL) {

188. if (fclose(fp) != 0) {

189. ret = -4;

190. goto error;

191. }

192. }

193.     log_file_unlock();

194. param_error:

195.     return ret;

196. }

197. 
     

198. int log_storage_deinit(log_file_t log)

199. {

200. if (log == NULL)

201. return -1;

203. if (log->cfg != NULL)

204. free(log->cfg);

205. if (log->read != NULL)

206. free(log->read);

207. if (log->user_data != NULL)

208. free(log->user_data);

209. free(log);

210. return 0;

211. }

在日志模塊源文件的代碼中，我們可以看到實際每次操作文件的時候，都有調(diào)用一個函數(shù)鎖操作，考慮到不同平臺的鎖操作實現(xiàn)不一樣，因此將此部分通過函數(shù)導出來，放置在模塊的端口文件中。不同的平臺、系統(tǒng)根據(jù)各自的平臺和系統(tǒng)的情況進行實現(xiàn)，如像裸機編程這類不需要進行鎖操作的不進行函數(shù)實現(xiàn)即可。

日志模塊端口頭文件：simple_storage_port.c

1. #ifndef __SIMPLE_STORAGE_PORT_H__

2. #define __SIMPLE_STORAGE_PORT_H__

3. 
   

4. int log_file_init(void);

5. int log_file_lock(void);

6. int log_file_unlock(void);

7. 
   

8. 
   

9. #endif /* __SIMPLE_STORAGE_PORT_H__ */

日志模塊端口源文件：simple_storage_port.h

1. #include "simple_storage_port.h"

2. 
   

3. int log_file_init(void)

4. {

5.     return 0;

6. }

7. 
   

8. int log_file_lock(void)

9. {

10.     return 0;

11. }

12. 
    

13. int log_file_unlock(void)

14. {

15.     return 0;

16. }

將以上代碼進行運行測試，硬件平臺如下：

• 控制器： stm32f103vet6，野火指南者開發(fā)板

  
  

• 存儲芯片： CS創(chuàng)世 SD nand，型號：CSNP4GCR01-AMW

  
  

• 文件系統(tǒng)： FATFS，注意此日志不受文件系統(tǒng)限制

  
  

• 操作系統(tǒng)： RT-Thread，此模塊與操作系統(tǒng)無關，此處只是方便使用故自行移植了rtthread

應用層代碼如下：

1. int main(void)

2. {

3. /* Reset of all peripherals, Initializes the Flash interface and the Systick. */

4. HAL_Init();

6. /* USER CODE BEGIN Init */

8. /* USER CODE END Init */

10. /* Configure the system clock */

11. SystemClock_Config();

13. /* USER CODE BEGIN SysInit */

15. /* USER CODE END SysInit */

17. /* Initialize all configured peripherals */

18. MX_GPIO_Init();

19. MX_SDIO_SD_Init();

20. MX_USART1_UART_Init();

21. MX_FATFS_Init();

23. /* USER CODE BEGIN 2 */

24. struct log_file_config log_cfg = {

25. .filename = "test",

26. .max_size = 2048,

27. .rotate_num = 10,

28. };

29. log_file_t log = NULL;

30. log = log_storage_init(&log_cfg);

31. if (log == NULL)

32. return;

33. /* USER CODE END 2 */

35. /* Infinite loop */

36. /* USER CODE BEGIN WHILE */

37. unsigned char buf[2048] = {0};

38. int len = 0;

39. while (1) {

40. // ... 省略用戶代碼

41. /* 寫入測試 */

42. for (int i = 0; i < 2048; i++) {

43. log_storage_write(log, "hello world", sizeof("hello world"));

44. rt_thread_mdelay(100);

45. }

47. /* 讀取測試 */

48. len = sizeof(buf);

49. memset(buf, 0, sizeof(buf));

50. log_storage_read(log, 1, buf, &len);

51. for (int i = 0; i < len; i ++)

52. rt_kprintf("%c", buf[i]);

53. rt_thread_mdelay(1000);

54. }

55. }

測試結果如下：

1. msg> hello worldhello world hello world hello world hello world hello world hello world hello world hello world ...省略

2. 
   

3. msh > ls

4. test.log    2046

5. test.log.0     2046

6. test.log.1     2046

7. test.log.2     2046

8. test.log.3     2046

9. test.log.4     2046

綜上便是基于文件系統(tǒng)的簡易日志模塊設計的全部內(nèi)容了，雖然簡陋了點，但相信對于大部分沒有接觸過日志系統(tǒng)設計的人來說提供了很好的一條設計思路。

也正因為簡易，給大家對于日志系統(tǒng)設計的優(yōu)化留足了大量的優(yōu)化空間。比如：

文件輪轉的時候需要對每個文件的文件名進行修改，是否可以有更好的方式不用每個文件都修改呢？

文件名的設計是不方便閱讀的，是否可以引入時間參數(shù)？

文件名設計如何引入了時間參數(shù)，當設備RTC備用電池掉電的時候又如何保證文件不會被錯誤覆蓋？

文件的讀取顯然優(yōu)化空間更大，實際上用戶不應該傳入rotate_num 參數(shù)，因為這是模塊內(nèi)部的參數(shù)，用戶不可感知的

文件讀取如何做到分多次讀取一個文件的內(nèi)容，且不會重復，是順序讀??？

等等，以上只是我簡單想到的幾點內(nèi)容，大家不妨思考下如何實現(xiàn)方案更好呢？當然又還有哪些需求是需要引入的呢，也歡迎大家在評論區(qū)留言，關注我，后續(xù)抽時間再分享下改良版日志系統(tǒng)?。?！