proxy_cache_path /Users/Mike/nginx-cache levels=1:2 keys_zone=one:10m max_size=10g inactive=60m use_temp_path=off;

static ngx_command_t ngx_http_proxy_commands[] = {
 { ngx_string("proxy_cache_path"), // 指定了當前指令的名稱
  // 指定了當前指令的使用位置，即http模塊，并且指定了當前模塊的參數(shù)個數(shù)，這里是必須大于等于2
   NGX_HTTP_MAIN_CONF|NGX_CONF_2MORE,
  // 指定了set()方法所指向的方法
   ngx_http_file_cache_set_slot,
   NGX_HTTP_MAIN_CONF_OFFSET,
   offsetof(ngx_http_proxy_main_conf_t, caches),
   &ngx_http_proxy_module }
}

char *ngx_http_file_cache_set_slot(ngx_conf_t *cf, ngx_command_t *cmd, void *conf)
{
  char *confp = conf;

  off_t          max_size;
  u_char         *last, *p;
  time_t         inactive;
  ssize_t         size;
  ngx_str_t        s, name, *value;
  ngx_int_t        loader_files, manager_files;
  ngx_msec_t       loader_sleep, manager_sleep, loader_threshold,
              manager_threshold;
  ngx_uint_t       i, n, use_temp_path;
  ngx_array_t      *caches;
  ngx_http_file_cache_t *cache, **ce;

  cache = ngx_pcalloc(cf->pool, sizeof(ngx_http_file_cache_t));
  if (cache == NULL) {
    return NGX_CONF_ERROR;
  }

  cache->path = ngx_pcalloc(cf->pool, sizeof(ngx_path_t));
  if (cache->path == NULL) {
    return NGX_CONF_ERROR;
  }

  // 初始化各個屬性的默認值
  use_temp_path = 1;

  inactive = 600;

  loader_files = 100;
  loader_sleep = 50;
  loader_threshold = 200;

  manager_files = 100;
  manager_sleep = 50;
  manager_threshold = 200;

  name.len = 0;
  size = 0;
  max_size = NGX_MAX_OFF_T_VALUE;

  // 示例配置：proxy_cache_path /Users/Mike/nginx-cache levels=1:2 keys_zone=one:10m max_size=10g inactive=60m use_temp_path=off;

  // 這里的cf->args->elts中存儲了解析proxy_cache_path指令時，其包含的各個token項，
  // 所謂的token項，指的就是使用空格分隔的字符片段
  value = cf->args->elts;

  // value[1]就是配置的第一個參數(shù)，也即cache文件會保存的根路徑
  cache->path->name = value[1];

  if (cache->path->name.data[cache->path->name.len - 1] == '/') {
    cache->path->name.len--;
  }

  if (ngx_conf_full_name(cf->cycle, &cache->path->name, 0) != NGX_OK) {
    return NGX_CONF_ERROR;
  }

  // 從第三個參數(shù)開始進行解析
  for (i = 2; i < cf->args->nelts; i++) {

    // 如果第三個參數(shù)是以"levels="開頭，則解析levels子參數(shù)
    if (ngx_strncmp(value[i].data, "levels=", 7) == 0) {

      p = value[i].data + 7; // 計算開始解析的其實位置
      last = value[i].data + value[i].len;  // 計算最后一個字符的位置

      // 開始解析1:2
      for (n = 0; n < NGX_MAX_PATH_LEVEL && p < last; n++) {

        if (*p > '0' && *p < '3') {

          // 獲取當前的參數(shù)值，比如需要解析的1和2
          cache->path->level[n] = *p++ - '0';
          cache->path->len += cache->path->level[n] + 1;

          if (p == last) {
            break;
          }

          // 如果當前字符是冒號，則繼續(xù)下一個字符的解析；
          // 這里的NGX_MAX_PATH_LEVEL值為3，也就是說levels參數(shù)后最多接3級子目錄
          if (*p++ == ':' && n < NGX_MAX_PATH_LEVEL - 1 && p < last) {
            continue;
          }

          goto invalid_levels;
        }

        goto invalid_levels;
      }

      if (cache->path->len < 10 + NGX_MAX_PATH_LEVEL) {
        continue;
      }

    invalid_levels:

      ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
                "invalid \"levels\" \"%V\"", &value[i]);
      return NGX_CONF_ERROR;
    }

    // 如果當前的參數(shù)是以"use_temp_path="開頭，則解析use_temp_path參數(shù)，該參數(shù)值為on或者off，
    // 表示當前緩存文件是否首先存入臨時文件夾中，最后再寫入到目標文件夾中，如果為off則直接存入目標文件夾
    if (ngx_strncmp(value[i].data, "use_temp_path=", 14) == 0) {

      // 如果為on，則標記use_temp_path為1
      if (ngx_strcmp(&value[i].data[14], "on") == 0) {
        use_temp_path = 1;

        // 如果為off，則標記use_temp_path為0
      } else if (ngx_strcmp(&value[i].data[14], "off") == 0) {
        use_temp_path = 0;

        // 如果都不止，則返回解析異常
      } else {
        ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
                  "invalid use_temp_path value \"%V\", "
                  "it must be \"on\" or \"off\"",
                  &value[i]);
        return NGX_CONF_ERROR;
      }

      continue;
    }

    // 如果參數(shù)是以"keys_zone="開頭，則解析keys_zone參數(shù)。該參數(shù)的形式如keys_zone=one:10m，
    // 這里的one是一個名稱，以供給后續(xù)的location配置使用，而10m則是一個大小，
    // 表示供給存儲key的緩存大小
    if (ngx_strncmp(value[i].data, "keys_zone=", 10) == 0) {

      name.data = value[i].data + 10;

      p = (u_char *) ngx_strchr(name.data, ':');

      if (p) {
        // 計算name的長度，name記錄了當前的緩存區(qū)的名稱，也即這里的one
        name.len = p - name.data;

        p++;

        // 解析所指定的size大小
        s.len = value[i].data + value[i].len - p;
        s.data = p;

        // 對大小進行解析，會將指定的大小最終轉(zhuǎn)換為字節(jié)數(shù)，這里的字節(jié)數(shù)必須大于8191
        size = ngx_parse_size(&s);
        if (size > 8191) {
          continue;
        }
      }

      ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
                "invalid keys zone size \"%V\"", &value[i]);
      return NGX_CONF_ERROR;
    }

    // 如果參數(shù)是以"inactive="開頭，則解析inactive參數(shù)。該參數(shù)的形式如inactive=60m，
    // 表示緩存的文件在多長時間沒有訪問之后將會過期
    if (ngx_strncmp(value[i].data, "inactive=", 9) == 0) {

      s.len = value[i].len - 9;
      s.data = value[i].data + 9;

      // 對時間進行解析，最終將轉(zhuǎn)換為以秒為單位的時間長度
      inactive = ngx_parse_time(&s, 1);
      if (inactive == (time_t) NGX_ERROR) {
        ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
                  "invalid inactive value \"%V\"", &value[i]);
        return NGX_CONF_ERROR;
      }

      continue;
    }

    // 如果參數(shù)是以"max_size="開頭，則解析max_size參數(shù)。該參數(shù)的形式如max_size=10g，
    // 表示當前緩存能夠使用的最大內(nèi)存空間
    if (ngx_strncmp(value[i].data, "max_size=", 9) == 0) {

      s.len = value[i].len - 9;
      s.data = value[i].data + 9;

      // 對解析得到的值進行轉(zhuǎn)換，最終將以字節(jié)數(shù)為單位
      max_size = ngx_parse_offset(&s);
      if (max_size < 0) {
        ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
                  "invalid max_size value \"%V\"", &value[i]);
        return NGX_CONF_ERROR;
      }

      continue;
    }

    // 如果參數(shù)是以"loader_files="開頭，則解析loader_files參數(shù)。該參數(shù)形如loader_files=100，
    // 表示在啟動nginx的時候默認會加載多少個緩存目錄中的文件到緩存中
    if (ngx_strncmp(value[i].data, "loader_files=", 13) == 0) {

      // 解析loader_files參數(shù)的值
      loader_files = ngx_atoi(value[i].data + 13, value[i].len - 13);
      if (loader_files == NGX_ERROR) {
        ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
              "invalid loader_files value \"%V\"", &value[i]);
        return NGX_CONF_ERROR;
      }

      continue;
    }

    // 如果參數(shù)是以"loader_sleep="開頭，則解析loader_sleep參數(shù)。該參數(shù)形如loader_sleep=10s，
    // 表示每次加載一個文件之后休眠多長時間，然后再加載下一個文件
    if (ngx_strncmp(value[i].data, "loader_sleep=", 13) == 0) {

      s.len = value[i].len - 13;
      s.data = value[i].data + 13;

      // 對loader_sleep的值進行轉(zhuǎn)換，這里是以毫秒數(shù)為單位
      loader_sleep = ngx_parse_time(&s, 0);
      if (loader_sleep == (ngx_msec_t) NGX_ERROR) {
        ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
              "invalid loader_sleep value \"%V\"", &value[i]);
        return NGX_CONF_ERROR;
      }

      continue;
    }

    // 如果參數(shù)是以"loader_threshold="開頭，則解析loader_threshold參數(shù)，該參數(shù)形如loader_threshold=10s，
    // 表示每次加載一個文件能夠使用的最長時間
    if (ngx_strncmp(value[i].data, "loader_threshold=", 17) == 0) {

      s.len = value[i].len - 17;
      s.data = value[i].data + 17;

      // 對loader_threshold的值進行解析并且轉(zhuǎn)換，最終是以毫秒數(shù)為單位
      loader_threshold = ngx_parse_time(&s, 0);
      if (loader_threshold == (ngx_msec_t) NGX_ERROR) {
        ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
              "invalid loader_threshold value \"%V\"", &value[i]);
        return NGX_CONF_ERROR;
      }

      continue;
    }

    // 如果參數(shù)是以"manager_files="開頭，則解析manager_files參數(shù)，該參數(shù)形如manager_files=100，
    // 表示當緩存空間用盡時，將會以LRU算法將文件進行刪除，不過每次迭代最多刪除manager_files所指定的文件數(shù)
    if (ngx_strncmp(value[i].data, "manager_files=", 14) == 0) {

      // 解析manager_files參數(shù)值
      manager_files = ngx_atoi(value[i].data + 14, value[i].len - 14);
      if (manager_files == NGX_ERROR) {
        ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
              "invalid manager_files value \"%V\"", &value[i]);
        return NGX_CONF_ERROR;
      }

      continue;
    }

    // 如果參數(shù)是以"manager_sleep="開頭，則解析manager_sleep參數(shù)，該參數(shù)形如manager_sleep=1s，
    // 表示每次迭代完成之后將會休眠manager_sleep參數(shù)所指定的時長
    if (ngx_strncmp(value[i].data, "manager_sleep=", 14) == 0) {

      s.len = value[i].len - 14;
      s.data = value[i].data + 14;

      // 對manager_sleep所指定的值進行解析
      manager_sleep = ngx_parse_time(&s, 0);
      if (manager_sleep == (ngx_msec_t) NGX_ERROR) {
        ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
              "invalid manager_sleep value \"%V\"", &value[i]);
        return NGX_CONF_ERROR;
      }

      continue;
    }

    // 如果參數(shù)是以"manager_threshold="開頭，則解析manager_threshold參數(shù)，該參數(shù)形如manager_threshold=2s，
    // 表示每次清除文件的迭代的最長耗時不能超過該參數(shù)所指定的值
    if (ngx_strncmp(value[i].data, "manager_threshold=", 18) == 0) {

      s.len = value[i].len - 18;
      s.data = value[i].data + 18;

      // 解析manager_threshold參數(shù)值，并且將其轉(zhuǎn)換為以毫秒數(shù)為單位的值
      manager_threshold = ngx_parse_time(&s, 0);
      if (manager_threshold == (ngx_msec_t) NGX_ERROR) {
        ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
              "invalid manager_threshold value \"%V\"", &value[i]);
        return NGX_CONF_ERROR;
      }

      continue;
    }

    ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
              "invalid parameter \"%V\"", &value[i]);
    return NGX_CONF_ERROR;
  }

  if (name.len == 0 || size == 0) {
    ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
              "\"%V\" must have \"keys_zone\" parameter",
              &cmd->name);
    return NGX_CONF_ERROR;
  }

  // 這里的cache->path->manager和cache->path->loader的值為兩個函數(shù)，需要注意的是，
  // 在nginx啟動之后，會啟動兩個單獨的進程，一個cache manager，一個cache loader，其中cache manager
  // 將會在一個循環(huán)中不斷的為每個共享內(nèi)存執(zhí)行cache->path->manager所指定的方法，
  // 從而實現(xiàn)對緩存進行清理。而另一個進程cache loader則會在nginx啟動之后60s的時候只執(zhí)行一次，
  // 執(zhí)行的方法就是cache->path->loader所指定的方法，
  // 該方法的主要作用是加載已經(jīng)存在的文件數(shù)據(jù)到當前的共享內(nèi)存中
  cache->path->manager = ngx_http_file_cache_manager;
  cache->path->loader = ngx_http_file_cache_loader;
  cache->path->data = cache;
  cache->path->conf_file = cf->conf_file->file.name.data;
  cache->path->line = cf->conf_file->line;
  cache->loader_files = loader_files;
  cache->loader_sleep = loader_sleep;
  cache->loader_threshold = loader_threshold;
  cache->manager_files = manager_files;
  cache->manager_sleep = manager_sleep;
  cache->manager_threshold = manager_threshold;

  // 將當前的path添加到cycle中，后續(xù)會對這些path進行檢查，如果path不存在，則會創(chuàng)建相應(yīng)的路徑
  if (ngx_add_path(cf, &cache->path) != NGX_OK) {
    return NGX_CONF_ERROR;
  }

  // 把當前共享內(nèi)存添加到cf->cycle->shared_memory所指定的共享內(nèi)存列表中
  cache->shm_zone = ngx_shared_memory_add(cf, &name, size, cmd->post);
  if (cache->shm_zone == NULL) {
    return NGX_CONF_ERROR;
  }

  if (cache->shm_zone->data) {
    ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
              "duplicate zone \"%V\"", &name);
    return NGX_CONF_ERROR;
  }


  // 這里指定了每個共享內(nèi)存的初始化方法，該方法在master進程啟動的時候會被執(zhí)行
  cache->shm_zone->init = ngx_http_file_cache_init;
  cache->shm_zone->data = cache;

  cache->use_temp_path = use_temp_path;

  cache->inactive = inactive;
  cache->max_size = max_size;

  caches = (ngx_array_t *) (confp + cmd->offset);

  ce = ngx_array_push(caches);
  if (ce == NULL) {
    return NGX_CONF_ERROR;
  }

  *ce = cache;

  return NGX_CONF_OK;
}

void
ngx_master_process_cycle(ngx_cycle_t *cycle)
{
  ...
   
  // 獲取核心模塊的配置
  ccf = (ngx_core_conf_t *) ngx_get_conf(cycle->conf_ctx, ngx_core_module);

  // 啟動各個worker進程
  ngx_start_worker_processes(cycle, ccf->worker_processes, NGX_PROCESS_RESPAWN);
  // 啟動cache進程
  ngx_start_cache_manager_processes(cycle, 0);
 
  ...
}

static void ngx_start_cache_manager_processes(ngx_cycle_t *cycle, ngx_uint_t respawn) {
  ngx_uint_t    i, manager, loader;
  ngx_path_t   **path;
  ngx_channel_t  ch;

  manager = 0;
  loader = 0;

  path = ngx_cycle->paths.elts;
  for (i = 0; i < ngx_cycle->paths.nelts; i++) {

    // 查找是否有任何一個path指定了manager為1
    if (path[i]->manager) {
      manager = 1;
    }

    // 查找是否有任何一個path指定了loader為1
    if (path[i]->loader) {
      loader = 1;
    }
  }

  // 如果沒有任何一個path的manager指定為1，則直接返回
  if (manager == 0) {
    return;
  }

  // 創(chuàng)建一個進程以執(zhí)行ngx_cache_manager_process_cycle()方法中所執(zhí)行的循環(huán)，需要注意的是，
  // 在回調(diào)ngx_cache_manager_process_cycle方法時，這里傳入的第二個參數(shù)是ngx_cache_manager_ctx
  ngx_spawn_process(cycle, ngx_cache_manager_process_cycle,
           &ngx_cache_manager_ctx, "cache manager process",
           respawn ? NGX_PROCESS_JUST_RESPAWN : NGX_PROCESS_RESPAWN);

  ngx_memzero(&ch, sizeof(ngx_channel_t));

  // 創(chuàng)建一個ch結(jié)構(gòu)體，以將當前進程的創(chuàng)建消息廣播出去
  ch.command = NGX_CMD_OPEN_CHANNEL;
  ch.pid = ngx_processes[ngx_process_slot].pid;
  ch.slot = ngx_process_slot;
  ch.fd = ngx_processes[ngx_process_slot].channel[0];

  // 廣播cache manager process進程被創(chuàng)建的消息
  ngx_pass_open_channel(cycle, &ch);

  if (loader == 0) {
    return;
  }

  // 創(chuàng)建一個進程以執(zhí)行ngx_cache_manager_process_cycle()所指定的流程，需要注意的是，
  // 在回調(diào)ngx_cache_manager_process_cycle方法時，這里傳入的第二個參數(shù)是ngx_cache_loader_ctx
  ngx_spawn_process(cycle, ngx_cache_manager_process_cycle,
           &ngx_cache_loader_ctx, "cache loader process",
           respawn ? NGX_PROCESS_JUST_SPAWN : NGX_PROCESS_NORESPAWN);

  // 創(chuàng)建一個ch結(jié)構(gòu)體，以將當前進程的創(chuàng)建消息廣播出去
  ch.command = NGX_CMD_OPEN_CHANNEL;
  ch.pid = ngx_processes[ngx_process_slot].pid;
  ch.slot = ngx_process_slot;
  ch.fd = ngx_processes[ngx_process_slot].channel[0];

  // 廣播cache loader process進程被創(chuàng)建的消息
  ngx_pass_open_channel(cycle, &ch);
}

// 啟動cache manager進程
ngx_spawn_process(cycle, ngx_cache_manager_process_cycle,
         &ngx_cache_manager_ctx, "cache manager process",
         respawn ? NGX_PROCESS_JUST_RESPAWN : NGX_PROCESS_RESPAWN);

// 啟動cache loader進程
ngx_spawn_process(cycle, ngx_cache_manager_process_cycle,
           &ngx_cache_loader_ctx, "cache loader process",
           respawn ? NGX_PROCESS_JUST_SPAWN : NGX_PROCESS_NORESPAWN);

// 這里的ngx_cache_manager_process_handler指定了當前cache manager進程將會執(zhí)行的方法，
// cache manager process則指定了該進程的名稱，而最后的0表示當前進程在啟動之后間隔多長時間才會執(zhí)行
// ngx_cache_manager_process_handler()方法，這里是立即執(zhí)行
static ngx_cache_manager_ctx_t ngx_cache_manager_ctx = {
  ngx_cache_manager_process_handler, "cache manager process", 0
};

// 這里的ngx_cache_loader_process_handler指定了當前cache loader進程將會執(zhí)行的方法，
// 其會在cache loader進程啟動后60秒之后才會執(zhí)行ngx_cache_loader_process_handler()方法
static ngx_cache_manager_ctx_t ngx_cache_loader_ctx = {
  ngx_cache_loader_process_handler, "cache loader process", 60000
};

static void ngx_cache_manager_process_cycle(ngx_cycle_t *cycle, void *data) {
  ngx_cache_manager_ctx_t *ctx = data;

  void     *ident[4];
  ngx_event_t  ev;

  ngx_process = NGX_PROCESS_HELPER;

  // 當前進程主要是用于處理cache manager和cache loader工作的，因而其不需要進行socket的監(jiān)聽，因而這里需要將其關(guān)閉
  ngx_close_listening_sockets(cycle);

  /* Set a moderate number of connections for a helper process. */
  cycle->connection_n = 512;

  // 對當前的進程進行初始化，主要是設(shè)置一些參數(shù)屬性，并且在最后為當前進行設(shè)置監(jiān)聽channel[1]句柄的事件，從而接收master進程的消息
  ngx_worker_process_init(cycle, -1);

  ngx_memzero(&ev, sizeof(ngx_event_t));
  // 對于cache manager，這里的handler指向的是ngx_cache_manager_process_handler()方法，
  // 對于cache loader，這里的handler指向的是ngx_cache_loader_process_handler()方法
  ev.handler = ctx->handler;
  ev.data = ident;
  ev.log = cycle->log;
  ident[3] = (void *) -1;

  // cache模塊不需要使用共享鎖
  ngx_use_accept_mutex = 0;

  ngx_setproctitle(ctx->name);

  // 把當前事件添加到事件隊列中，事件的延遲時間為ctx->delay，對于cache manager，該值為0，
  // 而對于cache loader，該值為60s。
  // 需要注意的是，在當前事件的處理方法中，ngx_cache_manager_process_handler()如果處理完了當前事件，
  // 會將當前事件再次添加到事件隊列中，從而實現(xiàn)定時處理的功能；而對于
  // ngx_cache_loader_process_handler()方法，其處理完一次之后，并不會將當前事件
  // 再次添加到事件隊列中，因而相當于當前事件只會執(zhí)行一次，然后cache loader進程就會退出
  ngx_add_timer(&ev, ctx->delay);

  for ( ;; ) {

    // 如果master將當前進程標記為terminate或者quit狀態(tài)，則退出進程
    if (ngx_terminate || ngx_quit) {
      ngx_log_error(NGX_LOG_NOTICE, cycle->log, 0, "exiting");
      exit(0);
    }

    // 如果master進程發(fā)出了reopen消息，則重新打開所有的緩存文件
    if (ngx_reopen) {
      ngx_reopen = 0;
      ngx_log_error(NGX_LOG_NOTICE, cycle->log, 0, "reopening logs");
      ngx_reopen_files(cycle, -1);
    }

    // 執(zhí)行事件隊列中的事件
    ngx_process_events_and_timers(cycle);
  }
}

static void ngx_cache_manager_process_handler(ngx_event_t *ev) {
  ngx_uint_t  i;
  ngx_msec_t  next, n;
  ngx_path_t **path;

  next = 60 * 60 * 1000;

  path = ngx_cycle->paths.elts;
  for (i = 0; i < ngx_cycle->paths.nelts; i++) {

    // 這里的manager方法指向的是ngx_http_file_cache_manager()方法
    if (path[i]->manager) {
      n = path[i]->manager(path[i]->data);

      next = (n <= next) ? n : next;

      ngx_time_update();
    }
  }

  if (next == 0) {
    next = 1;
  }

  // 一次處理結(jié)束之后還會將當前事件再次添加到事件隊列中而進行下一次的處理
  ngx_add_timer(ev, next);
}

static ngx_msec_t ngx_http_file_cache_manager(void *data) {
  // 這里的ngx_http_file_cache_t結(jié)構(gòu)體是解析proxy_cache_path配置項得到的
  ngx_http_file_cache_t *cache = data;

  off_t    size;
  time_t   wait;
  ngx_msec_t elapsed, next;
  ngx_uint_t count, watermark;

  cache->last = ngx_current_msec;
  cache->files = 0;

  // 這里的ngx_http_file_cache_expire()方法在一個無限循環(huán)中，不斷檢查緩存隊列尾部是否有過期的
  // 共享內(nèi)存，如果存在，則將其以及其所對應(yīng)的文件進行刪除
  next = (ngx_msec_t) ngx_http_file_cache_expire(cache) * 1000;

  // next是ngx_http_file_cache_expire()方法的返回值，該方法只有在兩種情況下才會返回0：
  // 1. 當刪除的文件個數(shù)超過了manager_files指定的文件個數(shù)時；
  // 2. 當刪除各個文件的總耗時超過了manager_threshold所指定的總時長時；
  // 如果next為0，則說明完成了一個批次的緩存清理工作，此時是需要休眠一段時間然后再進行下一次的清理工作，
  // 這個休眠的時長就是manager_sleep所指定的值。也就是說這里的next的值實際上就是下一次
  // 執(zhí)行緩存清理工作的等待時長
  if (next == 0) {
    next = cache->manager_sleep;
    goto done;
  }

  for ( ;; ) {
    ngx_shmtx_lock(&cache->shpool->mutex);

    // 這里的size指的是當前緩存所使用的總大小
    // count指定了當前緩存中的文件個數(shù)
    // watermark則表示水位，其為總共能夠存儲的文件個數(shù)的7/8
    size = cache->sh->size;
    count = cache->sh->count;
    watermark = cache->sh->watermark;

    ngx_shmtx_unlock(&cache->shpool->mutex);

    ngx_log_debug3(NGX_LOG_DEBUG_HTTP, ngx_cycle->log, 0,
            "http file cache size: %O c:%ui w:%i",
            size, count, (ngx_int_t) watermark);

    // 如果當前的緩存所使用的內(nèi)存大小小于能夠使用的最大大小并且緩存文件個數(shù)小于水位，
    // 說明還可以繼續(xù)存儲緩存文件，則跳出循環(huán)
    if (size < cache->max_size && count < watermark) {
      break;
    }

    // 走到這里說明共享內(nèi)存可用資源不足
    // 這里主要是強制刪除當前隊列中未被引用的文件，無論其是否過期
    wait = ngx_http_file_cache_forced_expire(cache);

    // 計算下次執(zhí)行的時間
    if (wait > 0) {
      next = (ngx_msec_t) wait * 1000;
      break;
    }

    // 如果當前nginx已經(jīng)退出或者終止，則跳出循環(huán)
    if (ngx_quit || ngx_terminate) {
      break;
    }

    // 如果當前刪除的文件個數(shù)超過了manager_files所指定的個數(shù)，則跳出循環(huán)，
    // 并且指定距離下次清理工作所需要休眠的時間
    if (++cache->files >= cache->manager_files) {
      next = cache->manager_sleep;
      break;
    }

    ngx_time_update();

    elapsed = ngx_abs((ngx_msec_int_t) (ngx_current_msec - cache->last));

    // 如果當前刪除動作的耗時超過了manager_threshold所指定的時長，則跳出循環(huán)，
    // 并且指定距離下次清理工作所需要休眠的時間
    if (elapsed >= cache->manager_threshold) {
      next = cache->manager_sleep;
      break;
    }
  }

done:

  elapsed = ngx_abs((ngx_msec_int_t) (ngx_current_msec - cache->last));

  ngx_log_debug3(NGX_LOG_DEBUG_HTTP, ngx_cycle->log, 0,
          "http file cache manager: %ui e:%M n:%M",
          cache->files, elapsed, next);

  return next;
}

static time_t ngx_http_file_cache_expire(ngx_http_file_cache_t *cache) {
  u_char           *name, *p;
  size_t            len;
  time_t            now, wait;
  ngx_path_t         *path;
  ngx_msec_t          elapsed;
  ngx_queue_t         *q;
  ngx_http_file_cache_node_t *fcn;
  u_char            key[2 * NGX_HTTP_CACHE_KEY_LEN];

  ngx_log_debug0(NGX_LOG_DEBUG_HTTP, ngx_cycle->log, 0,
          "http file cache expire");

  path = cache->path;
  len = path->name.len + 1 + path->len + 2 * NGX_HTTP_CACHE_KEY_LEN;

  name = ngx_alloc(len + 1, ngx_cycle->log);
  if (name == NULL) {
    return 10;
  }

  ngx_memcpy(name, path->name.data, path->name.len);

  now = ngx_time();

  ngx_shmtx_lock(&cache->shpool->mutex);

  for ( ;; ) {

    // 如果當前nginx已經(jīng)退出了，或者終止了，則跳出當前循環(huán)
    if (ngx_quit || ngx_terminate) {
      wait = 1;
      break;
    }

    // 如果當前的共享內(nèi)存隊列為空的，則跳出當前循環(huán)
    if (ngx_queue_empty(&cache->sh->queue)) {
      wait = 10;
      break;
    }

    // 獲取隊列的最后一個元素
    q = ngx_queue_last(&cache->sh->queue);

    // 獲取隊列的節(jié)點
    fcn = ngx_queue_data(q, ngx_http_file_cache_node_t, queue);

    // 計算節(jié)點的過期時間距離當前時間的時長
    wait = fcn->expire - now;

    // 如果當前節(jié)點沒有過期，則退出當前循環(huán)
    if (wait > 0) {
      wait = wait > 10 ? 10 : wait;
      break;
    }

    ngx_log_debug6(NGX_LOG_DEBUG_HTTP, ngx_cycle->log, 0,
            "http file cache expire: #%d %d %02xd%02xd%02xd%02xd",
            fcn->count, fcn->exists,
            fcn->key[0], fcn->key[1], fcn->key[2], fcn->key[3]);

    // 這里的count表示當前的節(jié)點被引用的次數(shù)，如果其引用次數(shù)為0，則直接刪除該節(jié)點
    if (fcn->count == 0) {
      // 這里的主要動作是將當前的節(jié)點從隊列中移除，并且刪除該節(jié)點對應(yīng)的文件
      ngx_http_file_cache_delete(cache, q, name);
      goto next;
    }

    // 如果當前節(jié)點正在被刪除，那么當前進程就可以不用對其進行處理
    if (fcn->deleting) {
      wait = 1;
      break;
    }

    // 走到這里，說明當前節(jié)點已經(jīng)過期了，但是引用數(shù)大于0，并且沒有進程正在刪除該節(jié)點
    // 這里計算的是該節(jié)點進行hex計算后文件的名稱
    p = ngx_hex_dump(key, (u_char *) &fcn->node.key, sizeof(ngx_rbtree_key_t));
    len = NGX_HTTP_CACHE_KEY_LEN - sizeof(ngx_rbtree_key_t);
    (void) ngx_hex_dump(p, fcn->key, len);

    // 由于當前節(jié)點在時間上已經(jīng)過期了，但是有請求正在引用該節(jié)點，并且沒有進程正在刪除該節(jié)點，
    // 說明該節(jié)點應(yīng)該被保留，因而這里嘗試將該節(jié)點從隊列尾部刪除，并且為其重新計算下次的過期時間，
    // 然后將其插入到隊列頭部
    ngx_queue_remove(q);
    fcn->expire = ngx_time() + cache->inactive;
    ngx_queue_insert_head(&cache->sh->queue, &fcn->queue);

    ngx_log_error(NGX_LOG_ALERT, ngx_cycle->log, 0,
           "ignore long locked inactive cache entry %*s, count:%d",
           (size_t) 2 * NGX_HTTP_CACHE_KEY_LEN, key, fcn->count);

next:  // 這里是隊列中的最后一個節(jié)點被刪除，并且對應(yīng)的文件也被刪除之后才會執(zhí)行的邏輯

    // 這里的cache->files記錄了當前已經(jīng)處理的節(jié)點數(shù)，manager_files的含義在于，
    // 在進行LRU算法強制清除文件時，最多會清除該參數(shù)所指定的文件個數(shù)，默認為100。
    // 因而這里如果cache->files如果大于等于manager_files，則跳出循環(huán)
    if (++cache->files >= cache->manager_files) {
      wait = 0;
      break;
    }

    // 更新當前nginx緩存的時間
    ngx_time_update();

    // elapsed等于當前刪除動作的總耗時
    elapsed = ngx_abs((ngx_msec_int_t) (ngx_current_msec - cache->last));

    // 如果總耗時超過了manager_threshold所指定的值，則跳出當前循環(huán)
    if (elapsed >= cache->manager_threshold) {
      wait = 0;
      break;
    }
  }

  // 釋放當前的鎖
  ngx_shmtx_unlock(&cache->shpool->mutex);

  ngx_free(name);

  return wait;
}

static time_t ngx_http_file_cache_forced_expire(ngx_http_file_cache_t *cache) {
  u_char           *name;
  size_t            len;
  time_t            wait;
  ngx_uint_t          tries;
  ngx_path_t         *path;
  ngx_queue_t         *q;
  ngx_http_file_cache_node_t *fcn;

  ngx_log_debug0(NGX_LOG_DEBUG_HTTP, ngx_cycle->log, 0,
          "http file cache forced expire");

  path = cache->path;
  len = path->name.len + 1 + path->len + 2 * NGX_HTTP_CACHE_KEY_LEN;

  name = ngx_alloc(len + 1, ngx_cycle->log);
  if (name == NULL) {
    return 10;
  }

  ngx_memcpy(name, path->name.data, path->name.len);

  wait = 10;
  tries = 20;

  ngx_shmtx_lock(&cache->shpool->mutex);

  // 不斷遍歷隊列中的每個節(jié)點
  for (q = ngx_queue_last(&cache->sh->queue);
     q != ngx_queue_sentinel(&cache->sh->queue);
     q = ngx_queue_prev(q))
  {
    // 獲取當前節(jié)點的數(shù)據(jù)
    fcn = ngx_queue_data(q, ngx_http_file_cache_node_t, queue);

    ngx_log_debug6(NGX_LOG_DEBUG_HTTP, ngx_cycle->log, 0,
         "http file cache forced expire: #%d %d %02xd%02xd%02xd%02xd",
         fcn->count, fcn->exists,
         fcn->key[0], fcn->key[1], fcn->key[2], fcn->key[3]);

    // 如果當前節(jié)點的引用數(shù)為0，則直接刪除該節(jié)點
    if (fcn->count == 0) {
      ngx_http_file_cache_delete(cache, q, name);
      wait = 0;

    } else {
      // 進行下一個節(jié)點的嘗試，如果有連續(xù)的20個節(jié)點的引用數(shù)都大于0，則會跳出當前循環(huán)
      if (--tries) {
        continue;
      }

      wait = 1;
    }

    break;
  }

  ngx_shmtx_unlock(&cache->shpool->mutex);

  ngx_free(name);

  return wait;
}

static void ngx_cache_loader_process_handler(ngx_event_t *ev)
{
  ngx_uint_t   i;
  ngx_path_t  **path;
  ngx_cycle_t  *cycle;

  cycle = (ngx_cycle_t *) ngx_cycle;

  path = cycle->paths.elts;
  for (i = 0; i < cycle->paths.nelts; i++) {

    if (ngx_terminate || ngx_quit) {
      break;
    }

    // 這里的loader方法指向的是ngx_http_file_cache_loader()方法
    if (path[i]->loader) {
      path[i]->loader(path[i]->data);
      ngx_time_update();
    }
  }

  // 加載完成后退出當前流程
  exit(0);
}

static void ngx_http_file_cache_loader(void *data) {
  ngx_http_file_cache_t *cache = data;

  ngx_tree_ctx_t tree;

  // 如果已經(jīng)加載完成或者正在加載，則直接返回
  if (!cache->sh->cold || cache->sh->loading) {
    return;
  }

  // 嘗試加鎖
  if (!ngx_atomic_cmp_set(&cache->sh->loading, 0, ngx_pid)) {
    return;
  }

  ngx_log_debug0(NGX_LOG_DEBUG_HTTP, ngx_cycle->log, 0,
          "http file cache loader");

  // 這里的tree就是加載的一個主要流程對象，加載的過程是通過遞歸的方式進行的
  tree.init_handler = NULL;
  // 封裝了加載單個文件的操作
  tree.file_handler = ngx_http_file_cache_manage_file;
  // 在加載一個目錄之前的操作，這里主要是檢查當前目錄有沒有操作權(quán)限
  tree.pre_tree_handler = ngx_http_file_cache_manage_directory;
  // 在加載一個目錄之后的操作，這里實際上是一個空方法
  tree.post_tree_handler = ngx_http_file_cache_noop;
 // 這里主要是處理特殊文件，即既不是文件也不是文件夾的文件，這里主要是刪除了該文件
  tree.spec_handler = ngx_http_file_cache_delete_file;
  tree.data = cache;
  tree.alloc = 0;
  tree.log = ngx_cycle->log;

  cache->last = ngx_current_msec;
  cache->files = 0;

  // 開始通過遞歸的方式遍歷指定目錄下的所有文件，然后按照上面定義的方法對其進行處理，也即加載到共享內(nèi)存中
  if (ngx_walk_tree(&tree, &cache->path->name) == NGX_ABORT) {
    cache->sh->loading = 0;
    return;
  }

  // 標記加載狀態(tài)
  cache->sh->cold = 0;
  cache->sh->loading = 0;

  ngx_log_error(NGX_LOG_NOTICE, ngx_cycle->log, 0,
         "http file cache: %V %.3fM, bsize: %uz",
         &cache->path->name,
         ((double) cache->sh->size * cache->bsize) / (1024 * 1024),
         cache->bsize);
}

ngx_int_t ngx_walk_tree(ngx_tree_ctx_t *ctx, ngx_str_t *tree) {
  void    *data, *prev;
  u_char   *p, *name;
  size_t   len;
  ngx_int_t  rc;
  ngx_err_t  err;
  ngx_str_t  file, buf;
  ngx_dir_t  dir;

  ngx_str_null(&buf);

  ngx_log_debug1(NGX_LOG_DEBUG_CORE, ctx->log, 0,
          "walk tree \"%V\"", tree);

  // 打開目標目錄
  if (ngx_open_dir(tree, &dir) == NGX_ERROR) {
    ngx_log_error(NGX_LOG_CRIT, ctx->log, ngx_errno,
           ngx_open_dir_n " \"%s\" failed", tree->data);
    return NGX_ERROR;
  }

  prev = ctx->data;

  // 這里傳入的alloc是0，因而不會進入當前分支
  if (ctx->alloc) {
    data = ngx_alloc(ctx->alloc, ctx->log);
    if (data == NULL) {
      goto failed;
    }

    if (ctx->init_handler(data, prev) == NGX_ABORT) {
      goto failed;
    }

    ctx->data = data;

  } else {
    data = NULL;
  }

  for ( ;; ) {

    ngx_set_errno(0);

    // 讀取當前子目錄中的內(nèi)容
    if (ngx_read_dir(&dir) == NGX_ERROR) {
      err = ngx_errno;

      if (err == NGX_ENOMOREFILES) {
        rc = NGX_OK;

      } else {
        ngx_log_error(NGX_LOG_CRIT, ctx->log, err,
               ngx_read_dir_n " \"%s\" failed", tree->data);
        rc = NGX_ERROR;
      }

      goto done;
    }

    len = ngx_de_namelen(&dir);
    name = ngx_de_name(&dir);

    ngx_log_debug2(NGX_LOG_DEBUG_CORE, ctx->log, 0,
           "tree name %uz:\"%s\"", len, name);

    // 如果當前讀取到的是.，則表示其為當前目錄，跳過該目錄
    if (len == 1 && name[0] == '.') {
      continue;
    }

    // 如果當前讀取到的是..，則表示其為返回上一級目錄的標識，跳過該目錄
    if (len == 2 && name[0] == '.' && name[1] == '.') {
      continue;
    }

    file.len = tree->len + 1 + len;

    // 更新可用的緩存大小
    if (file.len + NGX_DIR_MASK_LEN > buf.len) {

      if (buf.len) {
        ngx_free(buf.data);
      }

      buf.len = tree->len + 1 + len + NGX_DIR_MASK_LEN;

      buf.data = ngx_alloc(buf.len + 1, ctx->log);
      if (buf.data == NULL) {
        goto failed;
      }
    }

    p = ngx_cpymem(buf.data, tree->data, tree->len);
    *p++ = '/';
    ngx_memcpy(p, name, len + 1);

    file.data = buf.data;

    ngx_log_debug1(NGX_LOG_DEBUG_CORE, ctx->log, 0,
            "tree path \"%s\"", file.data);

    if (!dir.valid_info) {
      if (ngx_de_info(file.data, &dir) == NGX_FILE_ERROR) {
        ngx_log_error(NGX_LOG_CRIT, ctx->log, ngx_errno,
               ngx_de_info_n " \"%s\" failed", file.data);
        continue;
      }
    }

    // 如果當前讀取到的是一個文件，則調(diào)用ctx->file_handler()加載該文件的內(nèi)容
    if (ngx_de_is_file(&dir)) {

      ngx_log_debug1(NGX_LOG_DEBUG_CORE, ctx->log, 0,
              "tree file \"%s\"", file.data);

      // 設(shè)置文件的相關(guān)屬性
      ctx->size = ngx_de_size(&dir);
      ctx->fs_size = ngx_de_fs_size(&dir);
      ctx->access = ngx_de_access(&dir);
      ctx->mtime = ngx_de_mtime(&dir);

      if (ctx->file_handler(ctx, &file) == NGX_ABORT) {
        goto failed;
      }

     // 如果當前讀取到的是一個目錄，則首先調(diào)用設(shè)置的pre_tree_handler()方法，然后調(diào)用
     // ngx_walk_tree()方法，遞歸的讀取子目錄，最后調(diào)用設(shè)置的post_tree_handler()方法
    } else if (ngx_de_is_dir(&dir)) {

      ngx_log_debug1(NGX_LOG_DEBUG_CORE, ctx->log, 0,
              "tree enter dir \"%s\"", file.data);

      ctx->access = ngx_de_access(&dir);
      ctx->mtime = ngx_de_mtime(&dir);

      // 應(yīng)用讀取目錄的前置邏輯
      rc = ctx->pre_tree_handler(ctx, &file);

      if (rc == NGX_ABORT) {
        goto failed;
      }

      if (rc == NGX_DECLINED) {
        ngx_log_debug1(NGX_LOG_DEBUG_CORE, ctx->log, 0,
                "tree skip dir \"%s\"", file.data);
        continue;
      }

      // 遞歸的讀取當前目錄
      if (ngx_walk_tree(ctx, &file) == NGX_ABORT) {
        goto failed;
      }

      ctx->access = ngx_de_access(&dir);
      ctx->mtime = ngx_de_mtime(&dir);

      // 應(yīng)用讀取目錄的后置邏輯
      if (ctx->post_tree_handler(ctx, &file) == NGX_ABORT) {
        goto failed;
      }

    } else {

      ngx_log_debug1(NGX_LOG_DEBUG_CORE, ctx->log, 0,
              "tree special \"%s\"", file.data);

      if (ctx->spec_handler(ctx, &file) == NGX_ABORT) {
        goto failed;
      }
    }
  }

failed:

  rc = NGX_ABORT;

done:

  if (buf.len) {
    ngx_free(buf.data);
  }

  if (data) {
    ngx_free(data);
    ctx->data = prev;
  }

  if (ngx_close_dir(&dir) == NGX_ERROR) {
    ngx_log_error(NGX_LOG_CRIT, ctx->log, ngx_errno,
           ngx_close_dir_n " \"%s\" failed", tree->data);
  }

  return rc;
}

static ngx_int_t ngx_http_file_cache_manage_file(ngx_tree_ctx_t *ctx, ngx_str_t *path) {
  ngx_msec_t       elapsed;
  ngx_http_file_cache_t *cache;

  cache = ctx->data;

  // 將文件添加到共享內(nèi)存中
  if (ngx_http_file_cache_add_file(ctx, path) != NGX_OK) {
    (void) ngx_http_file_cache_delete_file(ctx, path);
  }

  // 如果加載的文件個數(shù)超過了loader_files指定的個數(shù)，則休眠一段時間
  if (++cache->files >= cache->loader_files) {
    ngx_http_file_cache_loader_sleep(cache);

  } else {
    // 更新當前緩存的時間
    ngx_time_update();

    // 計算當前加載炒作的耗時
    elapsed = ngx_abs((ngx_msec_int_t) (ngx_current_msec - cache->last));

    ngx_log_debug1(NGX_LOG_DEBUG_HTTP, ngx_cycle->log, 0,
            "http file cache loader time elapsed: %M", elapsed);

    // 如果加載操作耗時超過了loader_threshold所指定的時間，則休眠指定的時間
    if (elapsed >= cache->loader_threshold) {
      ngx_http_file_cache_loader_sleep(cache);
    }
  }

  return (ngx_quit || ngx_terminate) ? NGX_ABORT : NGX_OK;
}