截止到去年,全球著名的SNS社區(qū)網(wǎng)站Facebook擁有150萬(wàn)的活躍用戶,根據(jù)分析機(jī)構(gòu)comScore的統(tǒng)計(jì),F(xiàn)acebook現(xiàn)在已經(jīng)躍然穩(wěn)坐全球社交網(wǎng)站的第一把交椅,目前,其在Alexa的排行榜上排在第五位。Facebook的用戶現(xiàn)在每個(gè)月都上傳超過(guò)800萬(wàn)張數(shù)碼照片,截至去年夏天,F(xiàn)acebook是全球排名第一的網(wǎng)絡(luò)照片存儲(chǔ)網(wǎng)站,共存儲(chǔ)了6.5億張圖片,同時(shí),F(xiàn)acebook還擁有500多萬(wàn)部影片,以及其他內(nèi)容,其中包括約20萬(wàn)件網(wǎng)絡(luò)新聞、博客文章以及報(bào)告和評(píng)
截止到去年,全球著名的
SNS社區(qū)網(wǎng)站Facebook擁有
150萬(wàn)的活躍用戶,根據(jù)分析機(jī)構(gòu)comScore的統(tǒng)計(jì),F(xiàn)acebook現(xiàn)在已經(jīng)躍然穩(wěn)坐全球社交網(wǎng)站的第一把交椅,目前,其在Alexa的排行榜上排在第五位。
Facebook的用戶現(xiàn)在每個(gè)月都上傳超過(guò)800萬(wàn)張數(shù)碼照片,截至去年夏天,F(xiàn)acebook是全球排名第一的網(wǎng)絡(luò)照片存儲(chǔ)網(wǎng)站,共存儲(chǔ)了6.5億張圖片,同時(shí),F(xiàn)acebook還擁有500多萬(wàn)部影片,以及其他內(nèi)容,其中包括約20萬(wàn)件網(wǎng)絡(luò)新聞、博客文章以及報(bào)告和評(píng)論,總計(jì)存儲(chǔ)的數(shù)據(jù)量達(dá)到數(shù)個(gè)PB,所有這些數(shù)據(jù)都需要安全的存儲(chǔ),而且需要馬上就進(jìn)行檢索。而這,是一個(gè)極為艱巨的任務(wù)。
事實(shí)上,F(xiàn)acebook就像是一個(gè)傳奇,很難相信,前哈佛大學(xué)二年級(jí)學(xué)生Mark Zuckerberg創(chuàng)建的Facebook到目前為止僅僅只有5歲,在如此短的時(shí)間內(nèi)積累下如此龐大的數(shù)據(jù)簡(jiǎn)直讓人不可思議,但是,這的確是事實(shí)。
其實(shí),F(xiàn)acebook的增長(zhǎng)一直這么快且樂(lè)觀,在2007年
12月,該公司在美國(guó)加州的數(shù)據(jù)中心達(dá)到了滿載的容量,幸運(yùn)的是,F(xiàn)acebook的存儲(chǔ)管理團(tuán)隊(duì)已經(jīng)看到了存儲(chǔ)的未來(lái),并且在數(shù)據(jù)增長(zhǎng)的過(guò)程中在美國(guó)東海岸的弗吉尼亞州建立了一個(gè)數(shù)據(jù)中心,并在幾周前正式上線。不過(guò),能夠積極地管理PB級(jí)別的數(shù)據(jù)是很不容易的事情,因此,F(xiàn)acebook的團(tuán)隊(duì)一直在尋找可行之道。
“對(duì)于存儲(chǔ)容量來(lái)說(shuō),我每天早餐的時(shí)候都會(huì)看到一個(gè)圖表,那上面顯示著我們正在做的!盕acebook公司存儲(chǔ)工程經(jīng)理Anoop Nagwani表示,他已經(jīng)在Facebook工作了一年半,“我們每個(gè)月都會(huì)評(píng)價(jià)整個(gè)我們的組織機(jī)構(gòu),然后每周都會(huì)有一個(gè)小組討論。”
MySQL越來(lái)越龐大
Facebook的用戶數(shù)據(jù)存儲(chǔ)在MySQL數(shù)據(jù)庫(kù)上,F(xiàn)acebook擁有一個(gè)全球最大的MySQL數(shù)據(jù)庫(kù)系統(tǒng),騎在超過(guò)1800臺(tái)服務(wù)器上運(yùn)行著MySQL數(shù)據(jù)庫(kù)。Facebook選擇了MySQL的開(kāi)放性,因?yàn)槠浯a的可修改性是必要的。Facebook同時(shí)還是用了大量的
內(nèi)存緩存服務(wù)器(Memcached Server),其速度大幅度超過(guò)了MySQL服務(wù)器,從而能夠更好的跟上存儲(chǔ)數(shù)據(jù)副本的要求。此外,每個(gè)晚上,F(xiàn)acebook都會(huì)進(jìn)行數(shù)據(jù)復(fù)制,將Facebook在西海岸數(shù)據(jù)中心的數(shù)據(jù)復(fù)制到東海岸的數(shù)據(jù)中心中,并進(jìn)行一次數(shù)據(jù)轉(zhuǎn)儲(chǔ),這些數(shù)據(jù)通過(guò)重復(fù)數(shù)據(jù)刪除技術(shù)專業(yè)廠商Data Domain的技術(shù)進(jìn)行重復(fù)數(shù)據(jù)刪除后進(jìn)行長(zhǎng)期存儲(chǔ)。
Facebook處理圖片和視頻略有不同,其使用NetApp的NFS系統(tǒng)以及SATA硬盤來(lái)進(jìn)行存儲(chǔ),因?yàn)镹etApp能夠在一個(gè)很大的容器中存儲(chǔ)很大的對(duì)象。但是,隨著Facebook上存儲(chǔ)的照片數(shù)量的增長(zhǎng),NetApp的系統(tǒng)因由元數(shù)據(jù)已經(jīng)不堪重負(fù),造成了帶寬的瓶頸。
因此,今年晚些時(shí)候,F(xiàn)acebook計(jì)劃推出自己的對(duì)象存儲(chǔ)系統(tǒng)“Haystack”,該系統(tǒng)被其描述為“一個(gè)標(biāo)示數(shù)據(jù)所在的用戶級(jí)別的抽象對(duì)象都存儲(chǔ)在一個(gè)單一的文件中(類似于
LUN)”。