■ 障害内容

・物理サーバ1台故障による一部仮想マシンの再起動  (2012年1月18日 11時頃/15時頃の2回)　再起動時にストレージ接続が不完全だった物に関しては再度再起動を掛けさせて頂きました。

・ネットワークパケットロスの増大　故障機修復中の11時〜12時の間に断続的にネットワークが繋がりにくくなる現象を観測しております。

■ 障害時間

2012/1/18 11:00 ～ 15:00

本日15時 時点でサーバシステム全ての復旧を確認しております

■ 影響範囲

・故障した物理サーバへホスティングされていたお客様の仮想サーバは再起動を掛けさせて頂きました。

・障害時間初期に全体にネットワークが重くなる現象が確認されております。

この度の障害におきまして、お客様にはご迷惑をおかけいたしまして誠に申し訳ございません。

先ほど一部ネットワークにつきまして接続が不通となる障害が発生いたしました。
障害内容について以下に詳細を記載いたします。

障害内容

1. 一部ネットワーク帯の通信ダウン

障害時間

1. 2011/4/5(火) 12:17 ～ 2011/4/5(火) 12:43 (約26分間)

影響範囲

1. 210.171.134.0/24 のグローバルIPでの接続
2. 10.12.0.0/15 のセグメントをもったサーバへの接続(インスタントプランCを含みます)

障害原因

1. 該当セグメント用LVSのethnet障害
2. ※ 部分的な障害のため、スタンバイ機へのFail Overが失敗し、監視での検知に留まりました。

ご迷惑をおかけいたしまして、誠に申し訳ございません。

3月11日に発生いたしました東北地方太平洋沖地震はサービスには
影響がなかったことが確認され、データセンター内の設備においても
特に異常はございませんでしたので平常通り使用可能です。
また、3月14日からの電力会社による計画停電においても同様でございます。

状況が変わりました場合には当ブログにてお知らせいたします。

今後ともユニットホスティングをよろしくお願いいたします。

この度は長時間の停止がありましたこと、深くお詫びいたします。
今回の障害内容について以下に詳細を記載いたします。

障害内容

1. ユニットホスティング管理画面の停止
2. 仮想サーバのディスクのRead only mountへの移行
3. 仮想サーバの再起動

障害時間

1. 2/24(木) 16:30 ～ 17:30 ユニットホスティング管理画面の停止
2. 2/24(木) 16:30 ～ 21:00 仮想サーバのディスクのRead only mountへの移行
   ※ 順次復旧のため、お客様ごとに復旧完了時間が異なる場合がございます。
3. 2/24(木) 16:30 ～ 21:00 仮想サーバの再起動
   ※ 順次復旧のため、お客様ごとに再起動時間が異なる場合がございます。

影響範囲

1. 全ユーザ様のうち2010年10月以降に作成されたサーバ
2. ユニットホスティング管理画面

障害原因

1. 仮想環境管理サーバに対する高負荷
2. 仮想サーバ管理サーバ群の共有ストレージ二系統のうち一系統の冗長化回線の切断

障害経過

1. 14:30 仮想環境管理サーバに対する高負荷により、ユニットホスティング管理画面の操作不能であることを検知いたしました。
2. 14:45 上記障害内容をアナウンスさせていただきました。
3. 15:30 障害対象と障害原因の特定を完了し、仮想環境管理サーバのマスタサーバをFail Overいたしました。
4. 15:40 上記Fail Over時に、仮想環境のサーバ群のうち、1/4のサーバが共有ストレージの異常を検知し、仮想環境から切り離され、停止いたしました。また、残りの3/4についても共有ストレージ二系統のうち、一系統が冗長回線ともに切断され、そのストレージに所属するVMがRead Onlyに移行いたしました。
5. 15:40 ～ 21:30 上記の障害を確認したため、停止した仮想サーバ管理ホストの復旧し、切断された共有ストレージの冗長回線の復旧、Read Onlyとなったサーバをやむなく再起動させていただきました。

今後の対策につきまして

1. SLAにより、停止時間に応じたポイントを後日返却させていただきます。
2. 前年の停止を鑑み、増強計画と負荷対策を順次実施いたします。

現在仮想サーバを管理しているホストのうち、マスタサーバが異常作動を起こしております。
これに伴い、下記のサービスについてご利用頂けません。

■ 影響範囲
1. ユニットホスティング管理画面からのサーバ起動、シャットダウン、再起動、電源ON/OFF
2. ユニットホスティング管理画面からのサーバ作成、サーバ初期化、サーバ複製
3. ユニットホスティング管理画面からのスナップショット作成、スナップショットからの複製
4. ユニットホスティング管理画面からの対外共用ネットワークの追加
5. ユニットホスティング管理画面からの専用ネットワークの追加、専用ネットワークのインターフェース追加
6. ユニットホスティング管理画面からのコンソールのご利用
7. ユニットホスティング管理画面からのパフォーマンスモニターのご利用

※ 稼働中のサーバについては影響ございません。
（16:25の追記を御覧ください）

現在、復旧に向けて対処を行っており、復旧予想時刻は16:00前後を予定しております。
ご利用中のお客様には大変ご迷惑をおかけいたしますが、今しばらくお待ちいただけますよう
ご理解とご協力をお願いいたします。

■16:25 追記
物理サーバ2台にストレージ接続障害が見つかりを再起動しております。当該物理サーバ上にあるサーバについては、物理サーバ再起動後・順次再起動させて頂きます。

■17:30 物理サーバの復旧完了。仮想マシンを順次復旧中です。

■21:00 お客様の仮想マシンについては復旧を完了しております。不都合などございましたらサポートまでご連絡をお願いします。

OS詳細

1. Version: 5.5
2. kernel: 2.6.18-194.el5xen

iptables

1. icmp
2. stateがESTABLISHED,RELATEDなもの
3. ssh
4. http
5. https

他にもいくつかはありますが、大きくはこれらが標準で設定されています。
上位ネットワークでのプロトコル、ポート制限はありません。

DNS

1. 内部向け用のDNSサーバを提供しています。（DHCPにて割り振られます)

yum

1. /etc/yum.repos.d/CentOS-Base.repo のbaseurlをグローバルIPがないインスタントプランC用に書き換えています。
   オリジナルは/etc/yum.repos.d/CentOS-Base.repo.orig にありますので、必要に応じて入れ替えてください。

まず、一度作成したサーバのプラン変更はほとんどのケースに置いて不可能です。
また、プラン変更を行っても使用されたポイントは元に戻りません。

プラン変更が可能なケース

• スマートプランAからインスタントプランA
• インスタントプランAからスマートプランA

このプラン変更の制限は下記の理由がございます。

スマートプランAからの変更

1. スマートプランBへ:
   スマートプランAからスペックアップするタイミングが現プランの有効期限後となり、ユーザ様の意図しないタイミングで再起動等が発生してしまうためです。
2. インスタントプランCへ:
   インスタントプランCではグローバルIPがつかず、仮想サーバのインタフェースの設定とIPアドレスのリナンバリングが発生するためです。

スマートプランBからの変更

1. 他全プランへ:
   スマートプランBからスペックダウンするタイミングが現プランの有効期限後となり、ユーザ様の意図しないタイミングで再起動等が発生してしまうためです。

インスタントプランAからの変更

1. スマートプランBへ:
   インスタントプランAからスペックアップするタイミングが現プランの有効期限後となり、ユーザ様の意図しないタイミングで再起動等が発生してしまうためです。
2. インスタントプランCへ:
   インスタントプランCではグローバルIPがつかず、仮想サーバのインタフェースの設定とIPアドレスのリナンバリングが発生するためです。

インスタントプランCからの変更

1. 他全プランへ:
   インスタントプランCではグローバルIPがつかず、仮想サーバのインタフェースの設定とIPアドレスのリナンバリングが発生するためです。

これらの根本はインスタントプランCを除いて、各プランのポイント使用はサーバとそれに紐づくCPU、メモリ、ディスクの有効期限延長に使用されていることに起因いたします。

ポイント使用履歴

上記をご覧いただくと、2/16 17:58に”-vm-3″というサーバの有効期限を延長し、4ポイントを使用した履歴がございます。
これはインスタントプランAのサーバによるものです。
このサーバをスマートプランBに変更しようとした場合で例示いたします。

このようになります。
これでは本来必要とするスペックが、後からついてくることになります。

まとめますと以下のような理由からプラン変更ができない仕様です。

1. プラン変更時のスペック差は現プランの有効期限後に有効となるため。
2. スペックの差分があった場合は、有効期限とあわせて再起動する必要があるため。
3. IPアドレスのリナンバリングがあるため。

どれも実現性という意味では可能ではありますが、現時点ではユーザ様に不利益がある場合が多いためこれらのプラン変更は不可としております。

ユニットホスティングログイン画面
※ ユニットホスティングのご利用お申込みがまだの方はこちらへ

ログイン画面

こちらにお申し込み時の希望IDとパスワードを入力してログインを実施ください。
ログインが完了すると下記のマイページとなります。
お申し込み時は100ポイントが無料で追加されております。

マイページサンプル

では実際にサーバを作成してみたいと思います。
下記の赤丸の”サーバ”にアクセスください。

マイページ-サーバ作成サンプル

すると、下記のサーバグループの画面にアクセスできますので、次に赤丸の”サーバ追加”にアクセスください。

サーバーグループサンプル1

※ サーバグループはユニットホスティング管理画面上での管理区分です。他のグループのサーバとも正常にアクセス可能です。
※ また、このサーバグループの名前は後からでも変更可能です。

“サーバ追加”にアクセスすると、下記のようにサーバ追加の入力画面が表示されます。

サーバ追加サンプル

• 名前: ユニットホスティング管理画面上での名前となり、実際のサーバには影響を与えません。
• サーバグループ: 前述の通り、ユニットホスティング管理画面上での管理区分です。
• プラン: 各プランの詳細もご参照ください。
  • スマートプランA: インスタントプランAを月額契約することにより、インスタントプランAの月額使用よりも安い価格プランとなります。
  • スマートプランB: スマートプランAをカスタマイズしてスペックアップするよりもさらに安い価格プランとなります。
  • インスタントプランA: グローバルIPがついて、外部インターネットとの相互アクセスが可能な時間毎課金のプランです。
  • インスタントプランC: グローバルIPがなく、ユニットホスティング内部間のアクセスのみが可能な時間毎課金のプランです。
• SSH2 public key (OpenSSH形式): 作成するサーバにSSHでログインする際のSSH公開鍵になります。
  パスワードログインはセキュリティの観点からなしにさせていただいております。
• ユーザスクリプト URI: 使用例
  サーバのOSインストール後に実行するシェルスクリプトを指定できます。定型作業時等に便利です。

入力を終えて”確認”ボタンを押すと下記の確認画面となります。

サーバ作成確認 サンプル

内容に問題がなければ”作成”を押してください。
※ ここでボタンを押した段階でサーバ作成と課金がスタートいたしますので、ご注意ください。

作成を押すと、下記の完了画面が表示されます。

サーバ作成完了

画面にも表示されています通り、rootパスワードはこの画面で表示された後は再発行・再表示はできませんので大切に保管ください。

“追加したサーバ”のボタンを押しますと、下記の画面となり、しばらく”インストール中”となります。

サーバ情報サンプル

インストールが終わりますと、動作中となりますので”サーバ”の”ssh uhuser@210.171.134.177″の画面表示に従ってログインください。
※ 実際のグローバルIPは異なりますので、画面に表示されるものに従ってログインください。

• メールアドレス
• 希望ログインID
• パスワード
• 生年月日

※ 生年月日についてはパスワードを忘れてしまった場合のリセットに使用しております。

申し込み画面

申し込み入力画面

こちらの内容まで入力しますと、登録メールアドレスに対して仮登録完了のお知らせが送信されます。

■ 仮登録メール文面(一部URLを改変しておりますので、下記サンプルは実際にはご利用頂けません)
～～～ ここから ～～～
ユニットホスティングに仮登録をしていただき誠にありがとうございます。

次のURLからユーザー登録（無料）が行えます。
24時間以内に下記ＵＲＬをクリックし、登録を行ってください。
──────────────────────────────────

https://www.unit-hosting.com/account/mail/confirm/*

──────────────────────────────────

※このメールの送信者にお心当たりがない場合は、メールアドレスを誤って
送信されている可能性があります。大変お手数ではございますが、
メールを破棄してください。

ユニットホスティング

http://www.unit-hosting.com/

～～～ ここまで ～～～

メールに記載のURLにアクセスすると次のような画面が表示されます。

本登録画面

• 希望ID: ユニットホスティング管理画面にログインするためのログインIDとなります。
• パスワード: ユニットホスティング管理画面にログインするためのパスワードとなります。
• 生年月日: 上記パスワードを忘れた時のリセットに使用いたします。

こちらの登録が完了すると、登録時の希望IDとパスワードにて、
ユニットホスティング管理画面へのログインが可能となります。
また、完了時は自動的にログイン状態となります。

今回はlvs01, lvs02共に共通設定です。
設定を片方入れ忘れたりすると、Fail Overした際に一部サービスが停止したり、
人為的な運用トラブルを起こします。
設定を共有することもできますが、誤った設定で起動した際に全てのサービスが停止することから、
ミドルウェアにconfig check等の機能がない場合は片系試して設定を同期することを推奨しております。

LVSにhttpサービスを追加

• /etc/keepalived/keepalived.conf

• ############################################
  # 210.171.134.231:80
  #   -> web01, web02
  ############################################
  
  virtual_server 10.12.0.231 80 {
      delay_loop 6
      lvs_sched lc
      lvs_method NAT
      nat_mask 255.254.0.0
      persistence_timeout 0
      protocol TCP
  
      real_server 10.10.200.101 80 {
          weight 128
          inhibit_on_failure
  
          TCP_CHECK {
              connect_port       80
              connect_timeout     5
              nb_get_retry        1
              delay_before_retry  2
          }
      }
  
      real_server 10.10.200.102 80 {
          weight 128
          inhibit_on_failure
  
          TCP_CHECK {
              connect_port       80
              connect_timeout     5
              nb_get_retry        1
              delay_before_retry  2
          }
      }
  }
  

今回のサービス死活監視はTCPの80番ポートで通信が可能かどうかのチェックにしていますが、
keepalivedではHTTP_GETなどでHTTPステータスコードが200かどうかなど、細かく制御
可能ですので、どの程度になったら切り離すべきか、サービス要件にあわせて決定します。

個別サーバへのNAT

例えばSSHや、バックエンドアプリケーションなどのサービスを提供する際にバランシングは不要だが、
特定のサーバにアクセスを回したいという場合があります。
そう言った場合にもバランシング設定で1台固有にするというのもありですが、スケールアウトする可能性が
ないのであれば、管理上の面からNATで直接通信をまわしてしまうほうがよいでしょう。

例としてVIPへのSSHアクセスをweb01にまわす設定を記載します。
※ 前回の設定分はあえて記載していませんが、削除するとPrivate Network から外部に接続できませんのでご注意ください。

• /etc/sysconfig/iptables

• *nat
  # for virtual server
  -A PREROUTING -d 10.12.0.231 -p tcp --dport 22 -j DNAT --to 10.10.200.101
  COMMIT
          

keepalived のreload

• /etc/init.d/keepalived reload
• /sbin/ipvsadm -L -n

Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.12.0.231:80 lc
  -> 10.10.200.101:80              Masq    128    0          0
  -> 10.10.200.102:80              Masq    128    0          0

後は実際にアクセスしてみて振り分けされているかどうか確認し、正しく冗長構成が行われているかどうか
じっくり確認します。