2010年06月10日の日記です
サーバークラッシュ 2010-06-10 10:40:31 COMP
６月８日夕方１６時ごろに、外部向けサーバーがクラッシュしたらしい。
この日は仕事で外出し、家に帰ってからは子供の相手をし、疲れてそのまま寝てしまった。
翌日仕事を始める１０時ごろになり、メールが取得できなくて止まっていることに気づいた。
再起動したら、うごいた。
で、メールは読み出したのだが、どうも動きがおかしい。時々止まる。
「なんだろうな」とメンテナンス作業などを試みていたところ、昼頃完全停止。
---
外部向けサーバーには Sizuka を使っていた。
合計３台購入して使っていたのだが、完全ファンレスで小さな筐体に全てを収めてあるため、非常に熱を持つ。
で、熱で LSI がやられるようで、だんだんと故障していった。
外部向けに使っていたのは最後の１台。
壊れ方のパターンからして、同じ現象。
---
家庭内で使用しているサーバーは Xen でバーチャル化しているので、「もう一台」を用意するのは難しくない。
難しくはないのだが…いかんせん、時間がかかる。
仕事が押していて忙しい中、復旧作業。
壊れたマシンのディスク内容は、定期的にバックアップしていた。
最後のバックアップは３日前。
頻繁に更新されるメールは先ほど取得した、と考えると、ほぼ全てのデータが残っている。
でも、家庭内サーバーの CPU は Xen の「完全仮想化」には対応していない。準仮想化のみの対応だ。
外部向けマシンは古かったので、Xen の準仮想化イメージを作るのは厄介。
いっそのこと、OS は再インストール。CentOS 5.5 を入れる。
この作業が結構時間がかかる。
Xen 自体を最近いじっていないから、僕の知識が曖昧なのが主な原因。
---
夕方子供が帰ってくるまでに、OS 上に qmail 等の環境は構築した。
しかし、なぜかメールサーバーとして接続できない。
子供を寝かしつけてから作業再開。
メールサーバーがうまく行かないが、悩んでいるのもなんなので、DNS やらなにやら、必要なものを一通り入れる。
夜中の２時まで作業して、CentOS 5.5 がデフォルトで Firewall を設定していることに思い当たった。
外部向けサーバーだが、Firewall は別に設けてあるので不要。
Firewall 外したら問題なく動作した。
これで深夜の３時半。
翌朝も子供の面倒を見なくてはならないので、一端寝る。
---
子供のご飯を作るために、５時半に起き…ようとしたが、眠くておきられない。
子供のご飯は妻に任せて、６時半まで寝させてもらう。
６時半におき、子供たちを送り出す準備。
８時半に送り出したが、眠くてもう一度寝る。
９時半から再び作業。
今日は別の用件で外出があるので、１０時半までしか作業できない。
（しまった、これを書いている時点で時間過ぎてる！）
なんとか、Web サーバーの設定まで完了した。
でも、仕事で必要なこまごましたツールなどはまだ入れていない。
完全復旧は今週末までかかりそう。
この日は仕事で外出し、家に帰ってからは子供の相手をし、疲れてそのまま寝てしまった。
翌日仕事を始める１０時ごろになり、メールが取得できなくて止まっていることに気づいた。
再起動したら、うごいた。
で、メールは読み出したのだが、どうも動きがおかしい。時々止まる。
「なんだろうな」とメンテナンス作業などを試みていたところ、昼頃完全停止。
---
外部向けサーバーには Sizuka を使っていた。
合計３台購入して使っていたのだが、完全ファンレスで小さな筐体に全てを収めてあるため、非常に熱を持つ。
で、熱で LSI がやられるようで、だんだんと故障していった。
外部向けに使っていたのは最後の１台。
壊れ方のパターンからして、同じ現象。
---
家庭内で使用しているサーバーは Xen でバーチャル化しているので、「もう一台」を用意するのは難しくない。
難しくはないのだが…いかんせん、時間がかかる。
仕事が押していて忙しい中、復旧作業。
壊れたマシンのディスク内容は、定期的にバックアップしていた。
最後のバックアップは３日前。
頻繁に更新されるメールは先ほど取得した、と考えると、ほぼ全てのデータが残っている。
でも、家庭内サーバーの CPU は Xen の「完全仮想化」には対応していない。準仮想化のみの対応だ。
外部向けマシンは古かったので、Xen の準仮想化イメージを作るのは厄介。
いっそのこと、OS は再インストール。CentOS 5.5 を入れる。
この作業が結構時間がかかる。
Xen 自体を最近いじっていないから、僕の知識が曖昧なのが主な原因。
---
夕方子供が帰ってくるまでに、OS 上に qmail 等の環境は構築した。
しかし、なぜかメールサーバーとして接続できない。
子供を寝かしつけてから作業再開。
メールサーバーがうまく行かないが、悩んでいるのもなんなので、DNS やらなにやら、必要なものを一通り入れる。
夜中の２時まで作業して、CentOS 5.5 がデフォルトで Firewall を設定していることに思い当たった。
外部向けサーバーだが、Firewall は別に設けてあるので不要。
Firewall 外したら問題なく動作した。
これで深夜の３時半。
翌朝も子供の面倒を見なくてはならないので、一端寝る。
---
子供のご飯を作るために、５時半に起き…ようとしたが、眠くておきられない。
子供のご飯は妻に任せて、６時半まで寝させてもらう。
６時半におき、子供たちを送り出す準備。
８時半に送り出したが、眠くてもう一度寝る。
９時半から再び作業。
今日は別の用件で外出があるので、１０時半までしか作業できない。
（しまった、これを書いている時点で時間過ぎてる！）
なんとか、Web サーバーの設定まで完了した。
でも、仕事で必要なこまごましたツールなどはまだ入れていない。
完全復旧は今週末までかかりそう。