模塊介紹

memc-nginx和srcache-nginx模塊均為前淘寶工程師agentzh（章亦春）開發(fā)。其中memc模塊擴(kuò)展了Nginx標(biāo)準(zhǔn)的memcache模塊，增加了set、add、delete等memcache命令，而srcache則是為location增加了透明的基于subrequest的緩存層。兩者配合使用，可以實現(xiàn)上一節(jié)提到的高效緩存機(jī)制。關(guān)于兩個模塊的詳細(xì)信息可以參考它們Nginx官網(wǎng)的wiki（memc wiki，srcache wiki）頁。

安裝及配置

下面以LNMP環(huán)境介紹如何使用這兩個模塊構(gòu)建緩存層。

因為Nginx并不支持模塊動態(tài)加載，所以要安裝新的模塊，必須重新編譯Nginx。首先下載兩個模塊（memc下載地址，srcache下載地址），另外，為了發(fā)揮出緩存的最大性能，建議將memcache的upstream配置為keep-alive，為了支持upstream的keep-alive需要同時安裝http-upstream-keepalive-module。

將模塊下載并解壓到合適的目錄，這里我Nginx使用的版本是1.0.4，與相關(guān)模塊一起解壓到了/home/zhangyang/downloads，如下圖所示。

其中紅框框起來的是我們需要用到的模塊。進(jìn)入nginx目錄，執(zhí)行下列命令：

./configure --prefix=/usr/local/nginx --add-module=../memc-nginx-module --add-module=../srcache-nginx-module --add-module=../ngx_http_upstream_keepalive
make
make install

這里我將nginx安裝到/usr/local/nginx下，你可以根據(jù)自己的需要更改安裝路徑，另外，我只列出了本文必要的configure命令，你也可以增加需要的configure選項。

然后需要對nginx進(jìn)行配置，nginx默認(rèn)主配置文件放在安裝目錄的conf下，例如我的主配置文件為/usr/local/nginx/conf/nginx.conf。

這里我只貼出相關(guān)的配置：

#Memcache服務(wù)upstream
upstream memcache {
    server localhost:11211;
    keepalive 512 single;
}

server {
    listen       80;
    server_name  localhost;

    #memc-nginx-module
    location /memc {
        internal;

        memc_connect_timeout 100ms;
        memc_send_timeout 100ms;
        memc_read_timeout 100ms;

        set $memc_key $query_string;
        set $memc_exptime 300;
                                           
        memc_pass memcache;
    }

    location / {
        root   /var/www;
        index  index.html index.htm index.php;
    }

    # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
    #
    location ~ \.php$ {
        charset        utf-8;
        default_type   text/html;

        #srcache-nginx-module
        set $key $uri$args;
        srcache_fetch GET /memc $key;
        srcache_store PUT /memc $key;

        root           /var/www;
        fastcgi_pass   127.0.0.1:9000;
        fastcgi_index  index.php;
        include        fastcgi_params;
        fastcgi_param  SCRIPT_FILENAME $document_root$fastcgi_script_name;
    }
}

下面解釋一下其中幾個點。

上文說過，memc-nginx是一個標(biāo)準(zhǔn)的upstream模塊，因此首先需要定義memcache的upstream。這里我在本機(jī)上啟動了一個memcache服務(wù)，端口為默認(rèn)的11211，keepalive指令是http-upsteram-keepalive-module提供的功能，這里我們最大保持512個不立即關(guān)閉的連接用于提升性能。

下面是為memc-nginx-module配置location，我們配置為/memc，所有請求都通過請求這個location來操作memcache，memc-nginx-module存取memcache是基于http method語義的，使用http的GET方法表示get、PUT方法表示set、DELETE方法表示delete。這里我們將/memc設(shè)為internal表示只接受內(nèi)部訪問，不接收外部http請求，這是為了安全考慮，當(dāng)然如果需要通過http協(xié)議開放外部訪問，可以去掉internal然后使用deny和allow指令控制權(quán)限。比較重要的是$memc_key這個變量，它表示以什么作為key，這里我們直接使用Nginx內(nèi)置的$query_string來作為key，$memc_exptime表示緩存失效時間，以秒記。這里統(tǒng)一設(shè)為300（5分鐘），在實際應(yīng)用中可以根據(jù)具體情況為不同的內(nèi)容設(shè)置不同的過期時間。

最后我們?yōu)椤皛 \.php$”這個location配置了緩存，這表示所有以“.php”結(jié)尾的請求都會結(jié)果被緩存，當(dāng)然這里只是示例需要，實際中一般不會這么配，而是為特定需要緩存的location配置緩存。

srcache_fetch表示注冊一個輸入攔截處理器到location，這個配置將在location進(jìn)入時被執(zhí)行；而srcache_store表示注冊一個輸出攔截器到location，當(dāng)location執(zhí)行完成并輸出時會被執(zhí)行。注意srcache模塊實際可以與任何緩存模塊進(jìn)行配合使用，而不必一定是memc。這里我們以$uri$args作為緩存的key。

經(jīng)過上述配置后，相當(dāng)于對Nginx增加了如下邏輯：當(dāng)所請求的uri以“.php”結(jié)尾時，首先到memcache中查詢有沒有以$uri$args為key的數(shù)據(jù)，如果有則直接返回；否則，執(zhí)行l(wèi)ocation的邏輯，如果返回的http狀態(tài)碼為200，則在輸出前以$uri$args為key，將輸入結(jié)果存入memcache。

更多配置

上一節(jié)給出了使用memc和srcache構(gòu)建緩存層的最基本方法，實際應(yīng)用中可能需要更多靈活的配置，例如為不同的location配置不同的緩存參數(shù)，根據(jù)返回內(nèi)容而不是返回的http狀態(tài)碼確定是否緩存等等。可以有很多的方法實現(xiàn)這些需求，例如，srcache還支持兩個指令：srcache_fetch_skip和srcache_fetch_skip，這兩個指令接受一個參數(shù)，當(dāng)參數(shù)已定義且非0時，則進(jìn)行相應(yīng)操作，否則不進(jìn)行。例如，如果配置了srcache_fetch_skip $skip，這條指令，那么只有當(dāng)$skip的值為非0時，才將結(jié)果緩存，如果配合ngx_lua模塊的set_by_lua指令，則可以實現(xiàn)復(fù)雜的緩存控制。如：

location /xxxx {
    set $key ...;
    set_by_lua $skip '
        if ngx.var.cookie_foo == "bar" then
            return 1
        end
        return 0
    ';
 
    srcache_fetch_skip $skip;
    srcache_store_skip $skip;
 
    srcache_fetch GET /memc $key;
    srcache_store GET /memc $key;

    # proxy_pass/fastcgi_pass/...
}

這表示對/xxxx這個location的訪問，只有存在cookie “foo”且值為“bar”時緩存機(jī)制才起作用。關(guān)于ngx_lua的更多內(nèi)容請參考其主頁。

另外，我最近在春哥（章亦春在淘寶的昵稱）的微博上看到他目前正在完善srcache的功能，為其實現(xiàn)更多RFC2616的緩存行為標(biāo)準(zhǔn)。關(guān)于這個模塊的最新動態(tài)可以關(guān)注其github主頁。

Benchmark

下面對使用memc和srcache構(gòu)建的緩存機(jī)制進(jìn)行一個簡單的benchmark，并與使用PHP操作memcache的策略進(jìn)行一個對比。為了簡單起見，我們的測試PHP腳本不去訪問I/O，而僅僅是調(diào)用phpinfo函數(shù)輸出PHP相關(guān)信息。

測試一共分三組進(jìn)行：第一組在Nginx和PHP中均不開啟緩存，第二組僅使用PHP memcache緩存，第三組僅使用Nginx memcache緩存。三組都用ab程序去壓，并發(fā)數(shù)為20，請求次數(shù)為10000。

這里的測試環(huán)境是我的一個虛擬機(jī)，操作系統(tǒng)為Ubuntu10，內(nèi)存512M。Nginx采用epoll，單worker進(jìn)程，memcache最大并發(fā)數(shù)為1024，最大使用內(nèi)存64m。

不開啟緩存

這一組我們不開啟緩存，PHP程序非常簡單：

<?php

phpinfo();

?>

測試結(jié)果如下：

PHP memcache緩存策略

第二組我們用PHP操作緩存，測試腳本為：

<?php

$memc = new Memcached;
$memc->addServer('localhost', 11211) or die('Connect to memcache server failed!');

$output = $memc->get('my_key');
if(empty($output))
{
    ob_start();
    phpinfo();
    $output = ob_get_contents();
    ob_end_clean();

    $memc->set('my_key', $output, 300);
}

echo $output;*/

?>

測試結(jié)果如下：

Nginx memcache緩存策略

最后，我們將PHP腳本回歸到不使用緩存的版本，并配置好memc和srcache緩存機(jī)制。測試結(jié)果如下：

結(jié)果對比分析

為了直觀，我取“每秒處理請求數(shù)”、“平均每個請求處理時間”和“吞吐率”作為評價指標(biāo)，制作了一張圖表。

我想看到圖表，結(jié)論已毋需我多言。在各項指標(biāo)上使用memc和srcache構(gòu)建的緩存機(jī)制都大大優(yōu)于使用PHP操作memcache。其中每秒處理請求數(shù)（并發(fā)度）和吞吐率都是其9倍左右，而平均個請求所用時間僅有傳統(tǒng)策略的1/8。

這里要特別說明一下，這里之所以PHP memcache策略比不使用緩存優(yōu)勢不明顯，是因為我們的PHP腳本不涉及I/O操作，如果其中存在如數(shù)據(jù)庫存取，PHP memcache的優(yōu)勢還是有的，但不論如何，Nginx memcache策略在性能上的優(yōu)勢是其無法比擬的。

另外，除了性能優(yōu)勢外，使用這種策略還可以簡化PHP邏輯，因為緩存這一層都放在Nginx中了，PHP就從緩存操作中解放了出來，因此是一舉多得。

如果你的系統(tǒng)也構(gòu)建在LNMP上（或LAMP）上，不妨使用本文提到的方法替代傳統(tǒng)的緩存策略，盡情享受性能上的提升。