History of Computer and Network/computers/UPS (No. 9)

• History
• View the source.
• Computer and Network/computers/UPS has been deleted.
  • 1 (2011-07-12 (Tue) 20:52:53)
  • 2 (2011-07-12 (Tue) 22:36:54)
  • 3 (2011-07-13 (Wed) 01:51:32)
  • 4 (2011-10-16 (Sun) 23:49:00)
  • 5 (2011-11-22 (Tue) 22:10:20)
  • 6 (2011-11-23 (Wed) 13:52:47)
  • 7 (2011-11-24 (Thu) 09:19:24)
  • 8 (2011-12-04 (Sun) 21:31:56)
  • 9 (2011-12-05 (Mon) 17:07:05)
  • 10 (2011-12-08 (Thu) 22:42:42)

---

---

補足お願いします。A/Iも。 ＞ 田中先生
host cable software script 落とす対象 onbattery doshutdown のような表があると分かり易くてありがたいです。

hardware†

方針†

• 常時インバータ方式しか使わない(APC smart UPS が該当)
• 極力USBケーブル

cable†

• serial
  • powerchute 付属の特別なケーブル(1ピン多いらしい)
• USB
  • 通常の USB ケーブルが使える(UPS側は四角いコネクタ)
  • たとえば、 この画像

software†

方針†

• 管理の手間を減らすため、全てのサイトで共通の設定を使う

powerchute (solaris系)†

???

/usr/lib/powerchute

apcupsd (linux系)†

• linux系 は apcupsd で統一。
  
• solarisも 8 以降は対応しているようだが。 http://www.apcupsd.com/manual/manual.html#supported-operating-systems

installation†

wget http://sourceforge.net/projects/apcupsd/files/rpms%20-%20Stable/3.14.8/apcupsd-3.14.8-1.el5.i386.rpm/download
rpm -ivh apcupsd-3.14.8-1.el5.i386.rpm

setup†

• 設定ファイルはこのページに添付(apcupsd_YYYYMMDD.tar.gz)

• aste-wx2 でテストは行った。

• /etc/apcupsd/apcupsd.conf

  # UPSCABLE <cable>
  #   Defines the type of cable connecting the UPS to your computer.
  UPSTYPE usb
  
  # The ONBATTERYDELAY is the time in seconds from when a power failure
  #   is detected until we react to it with an onbattery event.
  #
  #   This means that, apccontrol will be called with the powerout argument
  #   immediately when a power failure is detected.  However, the
  #   onbattery argument is passed to apccontrol only after the
  #   ONBATTERYDELAY time.  If you don't want to be annoyed by short
  #   powerfailures, make sure that apccontrol powerout does nothing
  #   i.e. comment out the wall.
  ## バッテリー駆動に切り替わってから無視する秒数
  ## alert がうるさいので長め(60sec)に設定
  ONBATTERYDELAY 60
  
  # Note: BATTERYLEVEL, MINUTES, and TIMEOUT work in conjunction, so
  # the first that occurs will cause the initation of a shutdown.
  
  # If during a power failure, the remaining battery percentage
  # (as reported by the UPS) is below or equal to BATTERYLEVEL,
  # apcupsd will initiate a system shutdown.
  BATTERYLEVEL 5 <= default
  
  # If during a power failure, the remaining runtime in minutes
  # (as calculated internally by the UPS) is below or equal to MINUTES,
  # apcupsd, will initiate a system shutdown.
  ## /etc/init.d/apcupsd status で TIMELEFT が計算されて出るもののみ有効
  MINUTES 3 <= default

• /etc/apcupsd/apccontrol
  • アラームに対する処理は apccontrol 内に書きこむ。
  • shutdown script は、doshutdown の項目に書く

• /etc/apcupsd/onbattery
  • バッテリー駆動になった際にアラートメールを出す設定
  • aste-comp 宛

• /etc/apcupsd/offbattery
  • 電源ライン駆動に戻った際にお知らせメールを出す設定
  • aste-comp 宛

• /etc/apcupsd/changme
  • 要バッテリー交換のアラートメールを出す設定
  • aste-comp 宛

• /etc/apcupsd/ssh_shutdown (ASTE独自のもの)
  • ファイルサーバを最後に落とす必要があるので、以下の順序とする
    1. ファイルサーバ(master)が UPS のアラームを感知(aste-mx2, wx2, ax2)
    2. shutdown process start を aste-comp 宛に通知
    3. sshで他マシン(slave)を落とす
    4. masterマシンのシャットダウンまでの sleep 20 sec で nfs umountの時間を稼ぐ
    5. 自分自身をシャットダウンする(ssh_shutdownの中では行わない)
  • slave に ssh で入れるように root の sshkey の設定が必要
  • ssh timeout 設定

    sshtimeout=5
    ssh="/usr/bin/ssh -o ConnectionTimeout=$sshtimeout"

• sendmail
  • 起動(alert mail を出すのに使う)

    root> /etc/init.d/sendmail start
    Starting sendmail: [ OK ]
    Starting sm-client: [ OK ]

  • 起動設定変更

    rc[2345].dの *80sendmail を S80sendmail に rename

• 注意点

  計算機(UPS signalを受ける)シャットダウンの最後に UPS off のコマンドが送られ、
  それから 180sec 後に UPS が sleep 状態に入る。
  (それまでに計算機を再起動すると、当然落ちる。)
  一旦、手動で UPS の電源 off をして、再度 on にする。

シャットダウン方針†

UPS 管理ツールが入っているマシン†

• powerchute: aste-1s
• apcupsd: aste-mx2, aste-www, aste-wx2, aste-ax2, aste-1x

ssh shutdown chain†

"aste-1s" )  linux="aste-1x aste-r1c"
             solaris="aste-3c aste-2c aste-c1c aste-v1c aste-1c"
"aste-1x" )  linux="aste-r1c"
             solaris="";;
"aste-ax2" ) linux="aste-ax1 aste-ax3"
             solaris="aste-at3";;
"aste-mx2" ) linux="aste-mx1 aste-mz2"
             solaris="aste-mt2";;
"aste-www" ) linux=""
             solaris="";;
"aste-wx2" ) linux="aste-wx1 aste-wz1"
             solaris="aste-w";;

ASTE site†

• 手動で落とせる場合は極力手動で落とす。
  
• しかし、手動が無理な場合は、
  • 気象情報は判断材料として最後までモニターしておきたい
  • ==> サイトの計算機は発電機停止を受けて止まるようにする
  • lantap は操作せず通常の shutdown だけにとどめる。 理由は、
    • APC UPS は常時インバーターであることが確認できた http://cyber.apc.co.jp/smartups1500-p-48.html
    • OS shutdown の完了を確認するすべがない
    • そもそもハングしたときに強制的に off/on するようなツールである

• aste-1s
  • serial cable
  • powerchute
  • onbattery 後 2min で aste-1s から全てをシャットダウン
  • onbattery 後 3min で自分のシャットダウン
  • 問題点： 外部から入れない ==> tslinux の外部接続を復旧。(A/I) ネットワーク更新時に復活
  • 1x を master にする。(A/I)

• aste-1x
  • apcupsd
  • r1c を落とす。
  • まずはUSBケーブルをつながないと始まらない(A/I)
    • ==> 1x 用 UPS に USB ポート無し。シリアルはあり。(1s UPS とスワップする？)

SPdA†

• aste-ax2(file server)
  • apcupsd
  • ax1, ax3, at3 を落とす。
  • sshkey の設定状況は不明。。(A/I) OK

MTK†

• aste-mt1
  • powerchute 入っているらしいが設定不明
  • 起動していない

• aste-mx2(file server)
  • apcupsd
  • mx1, mz1, mz2, mt2 を落とす ==> mz1 はもはや存在しない(A/I) OK
  • mz2 は、sshkey の設定が必要。。(A/I) OK

• aste-www
  • 以下の理由により aste-www は単体で落ちてもらう。
    • DMZ にあるため、他と連動するのは security 的にも設定的にも面倒
    • sendmail の起動はsecurity 的に。。。
      ポートは外向きに開いていないので許してもらいましょう。
  • 設定内容

    - apcupsd の install と サービス起動
    - wx2, mx2 と同じ /etc/apcupsd を rsync
    - sendmail 起動。rc[2-5].d の sendmail 起動設定変更
      (rc5.d> mv K30sendmail S80sendmail)

NRO†

• aste-wx2
  • apcupsd
  • mgz3m を nfs mount しているので本館系が落ちるとハングする可能性あり。
  • wx1, wz1, w を落とす。
  • wz1 は、sshkey の設定が必要。。(A/I)

• aste-w
  • serial cable
  • powerchute で落ちるはず。
  • 設定詳細は不明。。。なので aste-wx2 からも落とすようにする。
    AdminShutdownDelay = 900 で、shutdown が 15min で始まるようだが。。
  • mgz3m を nfs mount しているので本館系が落ちるとハングする可能性あり。
  • -> umount -l で強制的に unmount するべし

A/I†

• shutdown script(apcupsd)
  • もはや mz1 は存在しない OK

• aste-1x
  • UPS と USB ケーブルでつなぐ
    • ==> 1x 用 UPS に USB ポート無し。シリアルはあり。(1s UPS とスワップする？)
  • apcupsd を入れて設定、sendmail 設定＆起動 done
  • 電圧をモニターし、webenvmon に表示する

• aste-1s
  • powerchute の設定で、AVR trim などの sensitivity を "低" に下げる
  • 2011/11/16 の発電機切替時の AVR trim によって生じた onbattery を受けての shutdown で linux系が落ちていなかった。

    /usr/lib/powerchute/ssh_shutdown
    のlinux系用のコマンドの
    /usr/sbin/shutdown -h -y now
    のところは、
    /sbin/shutdown -h now
    とするべき

  • いずれにせよ、aste-1x は残しておきたいので、山頂では linux と solaris を分ける

• その時のログは以下の通り。約3min on battery で、その間に shutdown が開始した。

  /usr/lib/powerchute/powerchute.log
  200001 11/16/11 17:00:59 UPS on battery: High input line voltage 123.8 V
  100300 11/16/11 17:03:58 Normal power restored: UPS on line
  
  /usr/lib/powerchute/powerchute.dat
  date,    time,    Vmin, Vmax, Vout, Vbat, freq, load%, temp,
  11/16/11,16:57:08,101.5,105.1,104.4,27.27,60.00,039.0,036.4,     ,
  11/16/11,17:07:08,101.5,118.0,098.6,26.19,59.50,040.9,031.9,     ,
  11/16/11,17:17:09,105.8,109.4,098.6,27.54,59.50,041.6,028.8,     ,

• aste-w*
  • mgz3m を umount -l で強制的に unmount するべし

reference†

• apcupsd setting http://www.scn.rain.com/~neighorn/docs/apcupsd/testing.html
• APC smart UPS (ラインインタラクティブ方式) http://cyber.apc.co.jp/smartups1500-p-48.html

  通常運転時はサージ抑制器、フィルタ、インバータを介して負荷にAC電源を供給。
  電源障害時およびフィルタにて除去出来ない電圧波形が進入した場合に
  バッテリ運転に切り替えAC電源を供給。
  通常運転時にインバータを利用してバッテリ充電を実施するため、 充電器が必要ないシンプルな回路。

• Smart-UPSの前面パネルのLED概要 http://sturgeon.apcc.com/Kbase.nsf/0/6547B3675B66794D49257073000EA6BB?OpenDocument
• AVR trim http://sturgeon.apcc.com/kbase.nsf/ForExternal/16A7031F2D3BE72549256EA3005F7836?OpenDocument
• powerchute manual ftp://ftp.apc.co.jp/manual/pcp4xall/pcp42com.zip

logs†

• 2010/04/25 genset switch #7001->#7002

  200001 04/25/10 18:45:59 UPS on battery: High input line voltage 125.2 V
  101600 04/25/10 18:49:59 Shutdown started
  100300 04/25/10 18:50:04 Normal power restored: UPS on line
  200100 04/25/10 18:50:30 System shutdown
  100100 04/25/10 18:50:36 *** PowerChute PLUS Stopped ***

• 2010/08/04 genset switch #7001->#7002

  200001 08/04/10 15:30:48 UPS on battery: High input line voltage 124.5 V
  101600 08/04/10 15:34:48 Shutdown started
  200100 08/04/10 15:35:18 System shutdown
  100100 08/04/10 15:35:24 *** PowerChute PLUS Stopped ***

• 2010/08/16 genset switch #7001->#7002

  200001 08/16/10 16:37:11 UPS on battery: High input line voltage 121.6 V
  101600 08/16/10 16:41:11 Shutdown started
  100300 08/16/10 16:41:25 Normal power restored: UPS on line
  200100 08/16/10 16:41:41 System shutdown
  100100 08/16/10 16:41:47 *** PowerChute PLUS Stopped ***

• 2011/04/20 genset switch #7001->#7002

  200001 04/20/11 16:17:34 UPS on battery: High input line voltage 121.6 V
  100300 04/20/11 16:17:34 Normal power restored: UPS on line
  200003 04/21/11 16:27:26 UPS on battery: Blackout 000.0 V
  101600 04/21/11 16:31:26 Shutdown started
  200100 04/21/11 16:31:56 System shutdown
  100100 04/21/11 16:32:03 *** PowerChute PLUS Stopped ***

• 2011/09/15 genset switch #7001->#7002

  200001 09/15/11 15:34:21 UPS on battery: High input line voltage 124.5 V
  101600 09/15/11 15:39:21 Shutdown started
  200100 09/15/11 15:39:52 System shutdown
  100100 09/15/11 15:39:58 *** PowerChute PLUS Stopped ***

• 2011/11/16 genset switch #7001->#7002

  200001 11/16/11 17:00:59 UPS on battery: High input line voltage 123.8 V
  100300 11/16/11 17:03:58 Normal power restored: UPS on line
  
  date,    time,    Vmin, Vmax, Vout, Vbat, freq, load%, temp,
  11/16/11,16:57:08,101.5,105.1,104.4,27.27,60.00,039.0,036.4,     ,
  11/16/11,17:07:08,101.5,118.0,098.6,26.19,59.50,040.9,031.9,     ,
  11/16/11,17:17:09,105.8,109.4,098.6,27.54,59.50,041.6,028.8,     ,

• 2011/12/05 genset switch #7001->#7002

  200001 12/05/11 14:40:18 UPS on battery: High input line voltage 123.8 V
  200301 12/05/11 14:42:59 Low battery condition: 063.0
  101600 12/05/11 14:43:29 Shutdown started
  200100 12/05/11 14:43:59 System shutdown
  100100 12/05/11 14:44:05 *** PowerChute PLUS Stopped ***
  100000 12/05/11 15:38:45 *** PowerChute PLUS Version 4.2.3 Started ***
  100200 12/05/11 15:38:59 Communication established
  300301 12/05/11 15:38:59 UPS battery is discharged: 050.0
  100701 12/05/11 15:50:24 UPS returned from low battery condition: 058.0
  
  date,    hh:mm:ss,Vin_min,max,Vout, Vbatt,Freq, load, Temp(degC)
  12/05/11,14:34:01,105.1,108.7,098.6,27.27,59.75,044.8,036.9,     ,
  12/05/11,14:39:00,105.8,108.7,098.6,27.27,59.75,039.6,036.9,     ,
  12/05/11,15:44:00,108.0,111.6,100.8,27.54,59.50,044.8,029.2,     ,
  12/05/11,15:48:59,108.0,111.6,100.8,27.40,59.50,045.5,031.5,     ,