這兩天遇到一個(gè)問(wèn)題，很讓人頭疼，就是我們的CX3-10C上分配給一臺(tái)服務(wù)器的虛擬磁盤(pán)老是掉線，原因起先不明，不過(guò)現(xiàn)在正常了。    說(shuō)說(shuō)大致經(jīng)過(guò)吧，前天晚上開(kāi)始出現(xiàn)這個(gè)情況，BCC告警短信發(fā)到我手機(jī)上，由于沒(méi)有及時(shí)看，過(guò)了一會(huì)廣電中心的人電話打過(guò)來(lái)說(shuō)視頻上傳不上去，我然后看了一下視頻服務(wù)器，發(fā)現(xiàn)磁盤(pán)又沒(méi)有了，以為和上次的問(wèn)題一樣，但是我想也不大可能啊，因?yàn)榍捌谖业臏y(cè)試從來(lái)沒(méi)有出過(guò)這個(gè)問(wèn)題，十一放假剛結(jié)束就出現(xiàn)這個(gè)問(wèn)題確實(shí)有點(diǎn)奇怪，何況我的那塊HBA卡是新的，以前在服務(wù)器上插著但是沒(méi)有用過(guò)，最近才剛剛開(kāi)始啟用。 

    問(wèn)題是這臺(tái)視頻服務(wù)器上面的兩個(gè)虛擬磁盤(pán)沒(méi)有了，存儲(chǔ)陣列管理端提示光纖未連接，然后我就猜測(cè)是網(wǎng)通的人把線碰掉了或者是拔掉了，因?yàn)樗麄冏罱诿€，準(zhǔn)備機(jī)房搬遷，碰掉也很有可能。電話告訴陳乾，可能原因，我去機(jī)房檢查服務(wù)器光纖連接情況，處理這起故障。去了之后發(fā)現(xiàn)確實(shí)是光纖松掉，指示燈都不亮了。插好之后重啟，一切正常。

    但是第二天早上，也就是昨天早上又出現(xiàn)這樣的問(wèn)題就是這臺(tái)視頻服務(wù)器上面的兩個(gè)虛擬磁盤(pán)沒(méi)有了，但是存儲(chǔ)陣列管理端顯示連接一切正常，服務(wù)器端的powerpath一切也正常，也沒(méi)有提示任何錯(cuò)誤，只是系統(tǒng)日志里有幾個(gè)提示錯(cuò)誤。

    此時(shí)問(wèn)題原因不明啊，服務(wù)器端也提示正常，但是確實(shí)是沒(méi)有磁盤(pán)，很讓人意外。然后我就重啟服務(wù)器，因?yàn)閣indows系統(tǒng)好多問(wèn)題一重啟就正常了，重啟之后果然正常，但是這時(shí)不知道原因，至少我認(rèn)為在存儲(chǔ)陣列上是沒(méi)有問(wèn)題的，光纖交換機(jī)肯定也是沒(méi)有問(wèn)題的，即使有問(wèn)題也是某個(gè)端口的問(wèn)題，我懷疑最大的是網(wǎng)通又把線碰了，打電話問(wèn)網(wǎng)通那邊的負(fù)責(zé)人問(wèn)有沒(méi)有人去機(jī)房，他們說(shuō)沒(méi)有人去機(jī)房，我很懷疑，但是沒(méi)有辦法，因?yàn)槲覀兡菣C(jī)房暫時(shí)沒(méi)有門(mén)禁系統(tǒng)，也無(wú)從判斷，我就暫時(shí)把這個(gè)問(wèn)題放在這里，日志也看不出是什么原因。

    郁悶的是兩個(gè)小時(shí)之后又那樣了，磁盤(pán)又沒(méi)有了，提示都正常，錯(cuò)誤日志也和上次一樣，我想會(huì)不會(huì)是光纖的問(wèn)題，去了機(jī)房把光纖和光纖交換機(jī)端口都換了，重啟機(jī)器又正常了，但是還是沒(méi)有用，下午三點(diǎn)鐘又出現(xiàn)原問(wèn)題，又重啟恢復(fù)正常，待進(jìn)一步觀察問(wèn)題，每次提示的錯(cuò)誤都是一樣的，就是數(shù)量上稍微有區(qū)別。

    由于還有一件事情比這個(gè)重要，下午下班趕緊去辦另外一件事情，回來(lái)之后八點(diǎn)，那會(huì)在路上同事打電話說(shuō)又出問(wèn)題，我說(shuō)你先重啟一下，又恢復(fù)正常，回來(lái)之后立即研究，時(shí)刻監(jiān)控，同時(shí)備份上面的數(shù)據(jù)，防止磁盤(pán)數(shù)次卸載掛上出現(xiàn)問(wèn)題，但是備份途中又壞掉，由于已很晚，這臺(tái)服務(wù)器訪問(wèn)量也不是很高，晚上就沒(méi)有加班處理，說(shuō)實(shí)話即使加班也不知道該怎么做，回家想了想，斷定剩下的只能是HBA卡的問(wèn)題了，端口也換過(guò)了，光纖也換過(guò)了，還是重復(fù)性出現(xiàn)這個(gè)問(wèn)題，時(shí)斷時(shí)續(xù)，真的很煩人……

    早上來(lái)的比較早，發(fā)現(xiàn)磁盤(pán)昨天晚上已經(jīng)掉了，昨晚零晨前半這兩天遇到一個(gè)問(wèn)題，很讓人頭疼，就是我們的CX3-10C上分配給一臺(tái)服務(wù)器的虛擬磁盤(pán)老是掉線，原因起先不明，不過(guò)現(xiàn)在正常了。

    說(shuō)說(shuō)大致經(jīng)過(guò)吧，前天晚上開(kāi)始出現(xiàn)這個(gè)情況，BCC告警短信發(fā)到我手機(jī)上，由于沒(méi)有及時(shí)看，過(guò)了一會(huì)廣電中心的人電話打過(guò)來(lái)說(shuō)視頻上傳不上去，我然后看了一下視頻服務(wù)器，發(fā)現(xiàn)磁盤(pán)又沒(méi)有了，以為和上次的問(wèn)題一樣，但是我想也不大可能啊，因?yàn)榍捌谖业臏y(cè)試從來(lái)沒(méi)有出過(guò)這個(gè)問(wèn)題，十一放假剛結(jié)束就出現(xiàn)這個(gè)問(wèn)題確實(shí)有點(diǎn)奇怪，何況我的那塊HBA卡是新的，以前在服務(wù)器上插著但是沒(méi)有用過(guò)，最近才剛剛開(kāi)始啟用。

    問(wèn)題是這臺(tái)視頻服務(wù)器上面的兩個(gè)虛擬磁盤(pán)沒(méi)有了，存儲(chǔ)陣列管理端提示光纖未連接，然后我就猜測(cè)是網(wǎng)通的人把線碰掉了或者是拔掉了，因?yàn)樗麄冏罱诿€，準(zhǔn)備機(jī)房搬遷，碰掉也很有可能。電話告訴陳乾，可能原因，我去機(jī)房檢查服務(wù)器光纖連接情況，處理這起故障。去了之后發(fā)現(xiàn)確實(shí)是光纖松掉，指示燈都不亮了。插好之后重啟，一切正常。

    但是第二天早上，也就是昨天早上又出現(xiàn)這樣的問(wèn)題就是這臺(tái)視頻服務(wù)器上面的兩個(gè)虛擬磁盤(pán)沒(méi)有了，但是存儲(chǔ)陣列管理端顯示連接一切正常，服務(wù)器端的powerpath一切也正常，也沒(méi)有提示任何錯(cuò)誤，只是系統(tǒng)日志里有幾個(gè)提示錯(cuò)誤，錯(cuò)誤截圖如下：

    此時(shí)問(wèn)題原因不明啊，服務(wù)器端也提示正常，但是確實(shí)是沒(méi)有磁盤(pán)，很讓人意外。然后我就重啟服務(wù)器，因?yàn)閣indows系統(tǒng)好多問(wèn)題一重啟就正常了，重啟之后果然正常，但是這時(shí)不知道原因，至少我認(rèn)為在存儲(chǔ)陣列上是沒(méi)有問(wèn)題的，光纖交換機(jī)肯定也是沒(méi)有問(wèn)題的，即使有問(wèn)題也是某個(gè)端口的問(wèn)題，我懷疑最大的是網(wǎng)通又把線碰了，打電話問(wèn)網(wǎng)通那邊的負(fù)責(zé)人問(wèn)有沒(méi)有人去機(jī)房，他們說(shuō)沒(méi)有人去機(jī)房，我很懷疑，但是沒(méi)有辦法，因?yàn)槲覀兡菣C(jī)房暫時(shí)沒(méi)有門(mén)禁系統(tǒng)，也無(wú)從判斷，我就暫時(shí)把這個(gè)問(wèn)題放在這里，日志也看不出是什么原因。

    郁悶的是兩個(gè)小時(shí)之后又那樣了，磁盤(pán)又沒(méi)有了，提示都正常，錯(cuò)誤日志也和上次一樣，我想會(huì)不會(huì)是光纖的問(wèn)題，去了機(jī)房把光纖和光纖交換機(jī)端口都換了，重啟機(jī)器又正常了，但是還是沒(méi)有用，下午三點(diǎn)鐘又出現(xiàn)原問(wèn)題，又重啟恢復(fù)正常，待進(jìn)一步觀察問(wèn)題，每次提示的錯(cuò)誤都是一樣的，就是數(shù)量上稍微有區(qū)別。

    由于還有一件事情比這個(gè)重要，下午下班趕緊去辦另外一件事情，回來(lái)之后八點(diǎn)，那會(huì)在路上同事打電話說(shuō)又出問(wèn)題，我說(shuō)你先重啟一下，又恢復(fù)正常，回來(lái)之后立即研究，時(shí)刻監(jiān)控，同時(shí)備份上面的數(shù)據(jù)，防止磁盤(pán)數(shù)次卸載掛上出現(xiàn)問(wèn)題，但是備份途中又壞掉，由于已很晚，這臺(tái)服務(wù)器訪問(wèn)量也不是很高，晚上就沒(méi)有加班處理，說(shuō)實(shí)話即使加班也不知道該怎么做，回家想了想，斷定剩下的只能是HBA卡的問(wèn)題了，端口也換過(guò)了，光纖也換過(guò)了，還是重復(fù)性出現(xiàn)這個(gè)問(wèn)題，時(shí)斷時(shí)續(xù)，真的很煩人……

    早上來(lái)的比較早，發(fā)現(xiàn)磁盤(pán)昨天晚上已經(jīng)掉了，昨晚零晨前半個(gè)小時(shí)，早上重啟之后和dell售后服務(wù)工程師聯(lián)系，商討問(wèn)題解決方案，咨詢了類似的問(wèn)題，他看了一下存儲(chǔ)陣列spa、spb、系統(tǒng)日志、光纖交換機(jī)的supportshow命令的輸出（那個(gè)我看不懂，他讓我抓下來(lái)給他的）。然后也斷定是HBA壞掉，我當(dāng)時(shí)已經(jīng)在機(jī)房，由于這臺(tái)服務(wù)器上面有兩塊HBA，我把光纖接到另外一塊HBA卡上面，然后重新再管理端注冊(cè)這個(gè)hba卡，形成對(duì)存儲(chǔ)陣列的有效訪問(wèn)鏈接。切換過(guò)程不用多說(shuō)，就是一般的注冊(cè)過(guò)程，很簡(jiǎn)單，就這樣問(wèn)題解決。一切恢復(fù)正常。

    這樣的問(wèn)題很煩人的，時(shí)斷時(shí)好，你說(shuō)他有問(wèn)題吧，他又能工作，沒(méi)有問(wèn)題吧，又反復(fù)這樣出現(xiàn)故障，真的很頭疼，尤其是存儲(chǔ)這樣重要的東西?？傊幚韱?wèn)題一定要思路清晰，要判斷準(zhǔn)問(wèn)題發(fā)生部位，最有可能的原因。這樣才能解決問(wèn)題。

    個(gè)小時(shí)，早上重啟之后和dell售后服務(wù)工程師聯(lián)系，商討問(wèn)題解決方案，咨詢了類似的問(wèn)題，他看了一下存儲(chǔ)陣列spa、spb、系統(tǒng)日志、光纖交換機(jī)的supportshow命令的輸出（那個(gè)我看不懂，他讓我抓下來(lái)給他的）。然后也斷定是HBA壞掉，我當(dāng)時(shí)已經(jīng)在機(jī)房，由于這臺(tái)服務(wù)器上面有兩塊HBA，我把光纖接到另外一塊HBA卡上面，然后重新再管理端注冊(cè)這個(gè)hba卡，形成對(duì)存儲(chǔ)陣列的有效訪問(wèn)鏈接。切換過(guò)程不用多說(shuō)，就是一般的注冊(cè)過(guò)程，很簡(jiǎn)單，就這樣問(wèn)題解決。一切恢復(fù)正常。

    這樣的問(wèn)題很煩人的，時(shí)斷時(shí)好，你說(shuō)他有問(wèn)題吧，他又能工作，沒(méi)有問(wèn)題吧，又反復(fù)這樣出現(xiàn)故障，真的很頭疼，尤其是存儲(chǔ)這樣重要的東西。總之處理問(wèn)題一定要思路清晰，要判斷準(zhǔn)問(wèn)題發(fā)生部位，最有可能的原因。這樣才能解決問(wèn)題。