最近一臺DB服務器偶爾出現(xiàn)CPU報警，我的郵件報警閾值設置的是15%，開始時沒當回事，以為是有什么統(tǒng)計類的查詢，后來越來越頻繁

場景：

最近一臺DB服務器偶爾出現(xiàn)CPU報警，我的郵件報警閾（請讀yù）值設置的是15%，開始時沒當回事，以為是有什么統(tǒng)計類的查詢，后來越來越頻繁。

探索：

我決定來查一下，究竟是什么在作怪，我排查的順序如下：

1、首先打開Cacti監(jiān)控，發(fā)現(xiàn)最近CPU均值在某天之后驟然上升，并且可以看到System\Processor Queue Length 和 sqlservr\%ProcessorTime 也在顯著的變化。

2、從最容易入手的低效SQL開始，考慮是不是最近業(yè)務做了什么修改？連接到該SQL實例，打開活動監(jiān)視器，展開“最近耗費大量資源的查詢”，并CPU時間倒序，在這里并未發(fā)現(xiàn)有即時的耗費資源的查詢。據(jù)個人經(jīng)驗，這里的值如果是4位數(shù)，分鐘內執(zhí)行次數(shù)3位數(shù)，一般的服務器CPU大概就10%以上，如果cpu時間那里是5位數(shù)，且分鐘內執(zhí)行次數(shù)也很高，幾百次以上，那CPU一般就會不淡定了。圖片僅為演示

3、沒有耗資源的SQL，這是DBA最不愿意看到的結果，因為也許，SQL Server受到了來自內部或者外部的壓力，使得自己花費了過多的時間去處理與操作系統(tǒng)的溝通去了。SQL Server常見的非查詢低效類的性能問題，絕大多數(shù)都來自于內存或者硬盤，而這兩者有的時候需要同時研究對比基線，才能確定誰是因，誰是果。在這里，我們首先查看SQL Server內存使用情況，當打開性能計數(shù)器時，我和我的小伙伴們都驚呆了……安裝了64G內存的數(shù)據(jù)庫，SQL Server的TargetMemory僅有500多兆！這其中StolenPage還占用了200多兆，數(shù)據(jù)庫DataPage僅有200多兆的內存可供使用，Oh，Shit！雖然我很不想用“去哪了”這三個字，但是“我的內存去哪了“？同時我們也注意到PageLifeExpectancy值只有26（一個內存充足的服務器，這個值至少應該是上W的），而很早之前我們津津樂道的"Cache Hit Ration"卻仍然保持一個比較高的水準98! 這個案例告訴我們，緩存命中率這個性能計數(shù)器很多時候說明不了什么問題。

4、OK，既然這樣，是誰占用了本該屬于我親愛的SQL Server的內存呢？我們繼續(xù)，打開Wiindows任務管理，選定進程選項卡，點擊顯示所有用戶進程，發(fā)現(xiàn)svchost.exe占用了絕大多數(shù)的60G內存！

5、那svchost.exe又是個什么東西呢？我們下面就用到ProcessMonitor這個工具了，打開后自動加載所有Wiindows進程，按內存排序后，鼠標移至svchost.exe進程上，顯示為Remote Registry服務。

6、查到這里，事情已經(jīng)有了一定的眉目，這個多半是windows內存泄露Bug，遂google關鍵詞: windows server 2008 r2 remote registry memory leak

找到如下鏈接：http://support.microsoft.com/kb/2699780/en-us

果然：Assume that you query performance counters on a remote computer by using an application on a computer that is running Windows 7 or Windows Server 2008 R2. In this situation, the memory usage of the Remote Registry service on the local computer increases until the available memory is exhausted.

解決方法：

1、重啟服務器，安裝hotfix

2、因為重啟服務器會影響到業(yè)務，所以我在想重啟RemoteRegistry服務，應該也能暫時解決問題，這個bug應該是在某種固定情景下發(fā)生的。

隨后，在合適的時間，我重啟了這個服務，SQL Server的TargetMemory重新恢復到60多G，CPU也正常了，目前為止該問題未再發(fā)生。

后續(xù)跟進：

DBA的工作，說難也難，說容易也容易，發(fā)現(xiàn)問題，解決問題還不夠，我們還要意識到自己的欠缺，在本案例中，我之前并沒有建立起SQL Server內存的監(jiān)控，所以沒有在第一時間就發(fā)現(xiàn)病情的嚴重性，好在該服務器并未承擔重要業(yè)務，否則后果不堪設想，說不定早就崩潰過了，后怕之處在于，如果崩潰了，自然要重啟服務器，到那個時候，我們連第一現(xiàn)場都沒有，當leader問起來，我又該使勁撓頭了。

該事件之后，我建立起了SQL Server內存的監(jiān)控，1天后，我從新的監(jiān)控數(shù)據(jù)中，又發(fā)現(xiàn)了一臺服務器出現(xiàn)相同的問題！我很慶幸，不是慶幸服務器沒宕機，而是慶幸我做對了。

附一張內存監(jiān)控圖，可以看到服務重啟之后，SQL Server的Total Pages一直在上升，并逐漸穩(wěn)定,Page life expectancy也在變得越來越大，CPU也能指示病癥已消除，我很欣慰。

總結：

服務器在出現(xiàn)性能問題前，大部分是提前有一些征兆的，尤其是內存泄露，因為內存是一點點被壓榨掉的，最后到達一個極限時，SQL Server就會突然Crash掉，然后只留給你一個dump，微軟就笑了。有經(jīng)驗的大夫應該從日常的腰酸背痛中看出一些端倪，然后進一步分析，提前預知重大疾病的發(fā)生，這就是DBA的價值。這個案例，告訴我，重視服務器異常的細節(jié)變化，才能做到防患于未然。

更多信息請查看IT技術專欄