2007年03月の日記です
サーバー故障 2007-03-04 12:21:20 COMP
この WEB サイトを公開しているサーバーが壊れた。
調子がおかしい、と気づいたのは３月１日、木曜日の夕方。
必要があってプログラムのインストールをしようとしていたら、kernel panic を起こしてハングアップした。
一旦再起動するも、２〜３時間したらまた panic を起こしていた。
なんかおかしいなぁ、と感じつつも、子供の夕食もあるし、お風呂にも入れないといけないので手を付けられず。
子供がやっと寝た10時半頃、本格的な復旧作業に着手する。
まずは fsck 。ファイルシステムのチェックだ。
しかし、この最中にも panic。どうもハードディスクがおかしそう。
SMART のレポートを見る限り、物理的に壊れている様子はないので、どこかのデータが飛んだか？
このサーバー、半年前に作ったばかりだったので、まだ油断してバックアップとっていなかった…
覚悟して、別のマシンを用意。OS インストールを開始する。
徹夜も覚悟。妻には先に寝ていてもらう。
---
実の所、ここしばらく忙しくて寝不足気味。ここで徹夜はこたえる。
２月の上旬から徐々に忙しくなり始め、睡眠時間を削って仕事をしていた。
…が、２月17日に熱を出して倒れる。風邪ではなく過労だったようで２日で回復したが、無理は良くないと反省。
しかし、反省の甲斐なく仕事をしていたところ、26日にもまた熱を出して倒れる。
今週はもう、無理はしない、と決めて仕事もスローダウンしていたところに、このサーバートラブル…
---
深夜0時ごろインストールを開始して、CD からのインストール終了が 1時くらい。そこから、ネットワーク経由で update をかけ、終了が2時半くらい。
(ここまでの間は、待つ以外ないので Wii のゼルダをやりながら待つ)
GD , PHP , daemontools , qmail , qmail-pop3d , ezmlm+idx , djbdns など、コンパイルしないとどうしようもないソフトを次々コンパイル。
その間に、設定ファイルを書いたり、次のソフトのコンパイルに備えて主要ソースをダウンロードしたりと大忙し。
必要ソフトが揃ったのが明け方 5時くらい。しかし、なぜかうまく動かない。
少なくとも、メールは動かないと周囲に迷惑がかかる。
…qmail の設定ファイルの書きかたが少し悪かったことに気づいてメールがうまく動作し始めたのが ７時過ぎ。
ここで一旦タイムアップ。子供が起きてきた。
---
子供に食事をさせた後、眠い…と思っていたが、先に妻がダウン (^^;;
隣の部屋で作業をしていたので、気になってよく眠れなかったらしい。僕のせいでもあるので、妻を寝かせて子供と遊ぶ。
午前中の散歩を済ませ、昼ごはんを食べたら子供は昼寝した。
---
子供を寝かしつけながら30分ほど寝てしまったが、それで眠気が取れたので作業再開。
調べてみると、メールがちゃんと受け取れいていない。少し設定ファイルをいじったら正常になった。
続けて ezmlm の設定。これは、qmail を使ったメーリングリストサーバーだ。
友人グループの ML をいくつか面倒見ているのだが、これは以前の設定がないとメールアドレスがわからない人もいる…
以前のサーバーを、Install CD の Rescue モードで起動したところ、ML のファイルは全部引き出すことが出来た。
これを使って、ML の設定はすぐ終了。
これで、メール関連は完全復旧。
子供を昼寝から起こす時間になったので、ここで一旦終了。
この後、夜はさすがに疲れて子供より先に寝てしまったので、作業は土曜日に持ち越し。
---
３月３日、土曜日。
子供は近所の保育園の「ひな祭り会」に誘われていたので、妻とお出かけ。
＃まだ保育園には入っていないが、一時保育を頼んでいる関係と、来年入所希望なので雰囲気を見るために呼ばれた。
早いところ WEB を復旧しないといけない。しかし、なぜかうまく行かない。
他にも細かなデータのサルベージなどあり、結局子供が帰ってくるまでには完了しなかった。
で、土曜日もこれで終わり。
---
本日、日曜日。
妻の友達が遊びに来る予定だったので、朝から部屋の片付けなど。
で、先ほど遊びに来て、子供も喜んで一緒に遊んでいる。
おかげで作業がはかどり、WEB の復旧完了。
WEB のデータ自体は、自動バックアップして別のマシンにとってあった。
復旧記念(?) に、この日記を書いているところ。
あとは、表から見えない設定をいろいろやらないと。
SPAM フィルタや、内部での NFS 設定など。
自動バックアップもちゃんと設定しとかないとな。
調子がおかしい、と気づいたのは３月１日、木曜日の夕方。
必要があってプログラムのインストールをしようとしていたら、kernel panic を起こしてハングアップした。
一旦再起動するも、２〜３時間したらまた panic を起こしていた。
なんかおかしいなぁ、と感じつつも、子供の夕食もあるし、お風呂にも入れないといけないので手を付けられず。
子供がやっと寝た10時半頃、本格的な復旧作業に着手する。
まずは fsck 。ファイルシステムのチェックだ。
しかし、この最中にも panic。どうもハードディスクがおかしそう。
SMART のレポートを見る限り、物理的に壊れている様子はないので、どこかのデータが飛んだか？
このサーバー、半年前に作ったばかりだったので、まだ油断してバックアップとっていなかった…
覚悟して、別のマシンを用意。OS インストールを開始する。
徹夜も覚悟。妻には先に寝ていてもらう。
---
実の所、ここしばらく忙しくて寝不足気味。ここで徹夜はこたえる。
２月の上旬から徐々に忙しくなり始め、睡眠時間を削って仕事をしていた。
…が、２月17日に熱を出して倒れる。風邪ではなく過労だったようで２日で回復したが、無理は良くないと反省。
しかし、反省の甲斐なく仕事をしていたところ、26日にもまた熱を出して倒れる。
今週はもう、無理はしない、と決めて仕事もスローダウンしていたところに、このサーバートラブル…
---
深夜0時ごろインストールを開始して、CD からのインストール終了が 1時くらい。そこから、ネットワーク経由で update をかけ、終了が2時半くらい。
(ここまでの間は、待つ以外ないので Wii のゼルダをやりながら待つ)
GD , PHP , daemontools , qmail , qmail-pop3d , ezmlm+idx , djbdns など、コンパイルしないとどうしようもないソフトを次々コンパイル。
その間に、設定ファイルを書いたり、次のソフトのコンパイルに備えて主要ソースをダウンロードしたりと大忙し。
必要ソフトが揃ったのが明け方 5時くらい。しかし、なぜかうまく動かない。
少なくとも、メールは動かないと周囲に迷惑がかかる。
…qmail の設定ファイルの書きかたが少し悪かったことに気づいてメールがうまく動作し始めたのが ７時過ぎ。
ここで一旦タイムアップ。子供が起きてきた。
---
子供に食事をさせた後、眠い…と思っていたが、先に妻がダウン (^^;;
隣の部屋で作業をしていたので、気になってよく眠れなかったらしい。僕のせいでもあるので、妻を寝かせて子供と遊ぶ。
午前中の散歩を済ませ、昼ごはんを食べたら子供は昼寝した。
---
子供を寝かしつけながら30分ほど寝てしまったが、それで眠気が取れたので作業再開。
調べてみると、メールがちゃんと受け取れいていない。少し設定ファイルをいじったら正常になった。
続けて ezmlm の設定。これは、qmail を使ったメーリングリストサーバーだ。
友人グループの ML をいくつか面倒見ているのだが、これは以前の設定がないとメールアドレスがわからない人もいる…
以前のサーバーを、Install CD の Rescue モードで起動したところ、ML のファイルは全部引き出すことが出来た。
これを使って、ML の設定はすぐ終了。
これで、メール関連は完全復旧。
子供を昼寝から起こす時間になったので、ここで一旦終了。
この後、夜はさすがに疲れて子供より先に寝てしまったので、作業は土曜日に持ち越し。
---
３月３日、土曜日。
子供は近所の保育園の「ひな祭り会」に誘われていたので、妻とお出かけ。
＃まだ保育園には入っていないが、一時保育を頼んでいる関係と、来年入所希望なので雰囲気を見るために呼ばれた。
早いところ WEB を復旧しないといけない。しかし、なぜかうまく行かない。
他にも細かなデータのサルベージなどあり、結局子供が帰ってくるまでには完了しなかった。
で、土曜日もこれで終わり。
---
本日、日曜日。
妻の友達が遊びに来る予定だったので、朝から部屋の片付けなど。
で、先ほど遊びに来て、子供も喜んで一緒に遊んでいる。
おかげで作業がはかどり、WEB の復旧完了。
WEB のデータ自体は、自動バックアップして別のマシンにとってあった。
復旧記念(?) に、この日記を書いているところ。
あとは、表から見えない設定をいろいろやらないと。
SPAM フィルタや、内部での NFS 設定など。
自動バックアップもちゃんと設定しとかないとな。