Enpedia:お知らせ/サーバーメンテナンス/2016-07-03

2016-07-03

Enpedia において大規模な障害が発生しました。経緯は下記のとおりです。

• 2016年6月30日 06:30 (JST, 以下同じ) - MediaWiki 1.27 へのアップデートを実施
• 同日 07:00 頃 - 上記メンテナンスの失敗により MediaWiki バージョンを 1.26.3 へ巻き戻し。これに伴い、データベースの緊急ロックを実施。
• 2016年7月1日 06:30 頃 - データベース復旧メンテナンスを実施。データベースを削除の上、最新の完全バックアップ（2016年6月29日 午前6時）地点を適用し、その後に「アップデート操作によるデータベース更新分」を除いたバックアップ後の変更をすべて適用。
• 同日 07:45 頃 - データベース緊急ロックを解除
• 2016年7月3日 01:59 - データベースサーバーのアップデートを実施。これによりデータベースサーバー障害（ダウン）が発生。
• 原因を特定し、アップデートを実施したデータベースサーバー側の問題であることが判明。データベースをすべて削除の上、サーバーのアンインストールを行い、データベースのバージョンダウンを実施。バックアップデータの読み込みにより復旧。
• 2016年7月3日 18:25 - 作動検証が完了し、開放。

本件一連の問題は、それぞれ別個の原因によるものです。

1. 6月30日 : MediaWiki アップグレードによる問題の発生
2. 7月3日 : データベースサーバーのアップグレードにより発現したバグによる問題の発生

バックアップ地点以降の更新も適用しているため、本障害によるページデータの損失は発生していません。ただし、上記 2 つの障害における最終のページ変更時点以降から回復地点の間に利用者登録情報（パスワードやメールアドレスなど）の更新が行われていた場合、データが巻き戻っている可能性があります。この場合はお手数ですが、 Enpedia:問題の報告 窓口か rxy へお問い合わせください。データベースログを再調査いたします。--rxy (トーク) 2016年7月3日 (日) 18:53 (JST)

再発防止策: 検証環境にてあらかじめアップグレードの可否を判断した後、本番環境へ適用いたします。

本件一連の障害により、ご不便とご迷惑をおかけいたしましたこと、お詫び申し上げます。--rxy (トーク) 2016年7月3日 (日) 19:00 (JST)追記--rxy (トーク) 2016年7月3日 (日) 19:01 (JST)