History of Computer and Network/Data transfer (No. 4)

• History
• View the source.
• Computer and Network/Data transfer has been deleted.
  • 1 (2010-08-30 (Mon) 14:59:51)
  • 2 (2016-03-15 (Tue) 10:22:07)
  • 3 (2016-03-15 (Tue) 10:22:07)
  • 4 (2016-03-15 (Tue) 10:22:07)
  • 5 (2016-03-15 (Tue) 10:22:07)
  • 6 (2016-03-15 (Tue) 10:22:07)

---

---

Data transfer (2016-09-28 版)†

1. 以下の説明では、 USB portable HDD のボリュームラベル (HDD の名前) を ASTE#13b として説明します。HDD本体にテプラなどで書かれている識別名と一致しているはずです。
   • ボリュームラベルのつけ忘れがあると /media/550e8400-e29b-41d4-a716-446655440000 というような名前になる事があります (UUIDと呼ばれる文字列です) 。データの転送処理は問題なくできますので読み替えて作業を進めてください。
   • 名前を付けた方が話をしやすい (HDDの個体識別がしやすい) ので、どこかのタイミングで computing が名前付けの作業をします。

at the ASTE site†

1. aste-1xにasteobsでログインする
2. USBポータブルHDDをaste-1xにつなぐ
   • 自動で/media/ASTE#13bにマウントされ、画面上にASTE#13bというディスクアイコンが出る
3. 転送するデータセットの確認
   • /home/trans/to_xfer 以下に日付範囲を名前に持つディレクトリがある

     aste-1x{asteobs}58: ls /home/trans/to_xfer
     20160921-20160926/  20160925-20160927/
     

4. USB HDD に以下の様にディレクトリを作成する (通常はあります)

   aste-1x{asteobs}59: mkdir /media/ASTE#13b/to_spda
   

   • すでにある場合は不要
5. コピースクリプトの実行
   • スクリプトは/home/trans/bin/cos3_trans_aste.sh
   • まずは転送するデータセットを正しく認識する事をチェック (チェックモード)

     aste-1x{asteobs}60: /home/trans/bin/cos3_trans_aste.sh /media/ASTE#13b/to_spda
     ***found data directories to transfer*** [#ocb03654]
     /home/trans/to_xfer/20160921-20160926/
     /home/trans/to_xfer/20160925-20160927/
     ***found data directories to transfer*** [#o5a4ffc8]
     *** device size check ***
     -> ok
     check mode
     

   • HDDに空きが無い場合にはエラーになるので転送には別のHDDを使用、空きが無いHDDの処理はcomputing に依頼
   • 問題なければ転送を実行する (-exec オプション)

     aste-1x{asteobs}65: /home/trans/bin/cos3_trans_aste.sh /media/ASTE#13b/to_spda -exec
     

     • 以下のようなメッセージが上記データディレクトリの数だけ出力される
     • [日時]はコマンドを実行した日時

       entering the directory: /home/trans/to_xfer/20160921-20160926
       wrapping, splitting, and copying the data directory, 20160921-20160926
       (file listing and errors go to 
        '/home/trans/xferlog/[日時]-xfer/cpiolog.20160921-20160926.-ov')
       c20160921-20160926: data copy done.
       

     • 一つでも以下のようなエラーが表示された場合は、そのままにして関係者に連絡

       c20160921-20160926: data copy error.
       

6. ポータブルディスクのアンマウント
   • 画面上にディスクアイコンが出ているので、それを右クリックして'Unmount Volume'を選ぶ
   • もしくはターミナルで以下を実行

     aste-1x{asteobs}66: umount /media/ASTE#13b
     

7. disconnecting USB HDD from aste-1x
   • please handle with care
   • keep connecting the USB cable to aste-1x

At SPdA†

transfer from the ASTE site to SPdA†

1. aste-as1にasteobsでログインする
2. 山頂でデータをコピーしたUSBポータブルHDDをaste-as1につなぐ
   • 自動で/media/ASTE#13bにマウントされ、画面上にASTE#13bというディスクアイコンが出る
3. 転送データの確認

   [asteobs@aste-as1 ~]$ ls /media/ASTE#13b/to_spda/*
   

   • 山頂でコピーしたファイル(日付範囲+'.cpio.'+なんちゃら)が入っているはず
4. コピースクリプトの実行
   • スクリプトは/home/trans/bin/cos3_trans_spda.sh
   • まずは転送するデータセットを正しく認識する事を確認 (チェックモード)
   • [日時]はサイトでcos3_trans_aste.shを実行した日時

     [asteobs@aste-as1 ~]$ /home/trans/bin/cos3_trans_spda.sh /media/ASTE#13b/to_spda
     *** found data to transfer ***
     /media/ASTE#13b/to_spda/[日時]/c20160921-20160926
     /media/ASTE#13b/to_spda/[日時]/c20160925-20160927
     *** found data to transfer ***
     check mode
     

   • SPdAでの読み出しをしないまま、サイトでの転送を繰り返すと、上記[日時]が複数になる事がある
   • 問題なければ実行する (-exec オプション)

     [asteobs@aste-as1 ~]$ /home/trans/bin/cos3_trans_spda.sh /media/ASTE#13b/to_spda -exec
     

   • まず日本への輸送データとして/home/trans/to_japan/[日時]のディレクトリへコピーされる

     data copy starts
     logging goes to (/home/trans/xferlog/[日時]-spda)
     *** copying data to Japan ***
     /usr/bin/rsync -auv /media/ASTE#13b/to_spda/[日時] /home/trans/to_japan
     
     *** done ***
     

     • [日時]はサイトでcos3_trans_aste.shを実行した日時
     • 以下の様にエラーが起きた場合はそのままにして関係者に連絡

       *** data copy failed ***
       

   • ファイル結合とcpioによるファイル展開は、自動で行わなくしました。 (2016-09 現在)
     • 以下の様にエラーが起きた場合はそのままにして関係者に連絡

       c20160921-20160926: data copy error.
       copy NG. status==x x, message follow (50 lines):
       .... error message ....
       

5. 輸送データ消去
   • 転送が正常に終わると、ポータブルディスク内の[日時]のディレクトリはリネームされ消去状態になる

     ***rename data directory in media***
     chdir /media/ASTE#13b/to_spda
     mv  20160927t153200z  20160927t153200z.done
     ....
     

     • cos3_trans_spda.shでは認識されなくなるが、万が一必要な場合は後で回復可能
6. ポータブルディスクのアンマウント
   • cos3_trans_spda.sh が以下のメッセージを出したら取り外し可能

     --- Now, you can unmount the HDD ---
     

   • 画面上にディスクアイコンが出ているので、それを右クリックして'Unmount Volume'を選ぶ
   • もしくはターミナルで以下を実行

     [asteobs@aste-as1 ~]$ umount /media/ASTE#13b
     

transfer from SPdA to Japan†

1. aste-as1にasteobsでログインする
2. USBポータブルHDDをaste-as1につなぐ
   • 自動で/media/ASTE#13bにマウントされ、画面上にASTE#13bというディスクアイコンが出る
3. 転送データの確認
   • /home/trans/to_japan内には、山頂でcos3_trans_aste.shを実行した日時のディレクトリが含まれる

     [asteobs@aste-as1 ~]$ ls /home/trans/to_japan
      20141008t153200z 20141020t160011z
     

4. USB HDD に以下の様にディレクトリを作成する (通常はあります)

   [asteobs@aste-as1 ~]$ mkdir /media/ASTE#13b/to_jpn
   

   • すでにある場合は不要
5. コピースクリプトの実行
   • スクリプトは/home/trans/bin/cos3_trans_to_jpn.sh
   • まずは転送データを正しく認識する事を確認 (チェックモード)

     [asteobs@aste-as1 ~]$ /home/trans/bin/cos3_trans_to_jpn.sh /media/ASTE#13b/to_jpn
     ***found data directories to transfer***
     /home/trans/to_japan/20141008t153200z
     /home/trans/to_japan/20141020t160011z
     
     ***found data directories to transfer***
     check mode
     

   • 問題なければ実行する (-exec オプション)

     [asteobs@aste-as1 ~]$ /home/trans/bin/cos3_trans_jpn.sh /media/ASTE#13b/to_jpn -exec
     

   • rsyncにてファイルがコピーされる

     ....
     
     data copy starts
     logging goes to (/home/trans/xferlog/[日時]-to_jpn)
     
     --- copying data to Japan ---
     rsync -auv /home/trans/to_japan/[日時] /home/trans/to_japan/[日時]   /media/ASTE#13b/to_jpn/
     
     *** done ***
     

     • rsyncされるデータの日時は山頂でcos3_trans_aste.shを実行した日時
     • 以下の様にエラーが起きた場合はそのままにして関係者に連絡

       *** data copy failed ***
       

6. ポータブルディスクのアンマウント
   • 画面上にディスクアイコンが出ているので、それを右クリックして'Unmount Volume'を選ぶ
   • もしくはターミナルで以下を実行

     [asteobs@aste-as1 ~]$ umount /media/ASTE#13b
     

At Mitaka†

• 運んできたUSB HDDは、computing関係者に渡して下さい。

FAQ†

• LinuxやUSBについて多少わかるかた向け
• 通常はcomputingに連絡してまかせてもらえば大丈夫です

USB HDD が自動的にマウントされない†

• HDDを一度取り外し、つなぎなおしてみる
• dmesgやlsusbコマンドを用い、ディスクが認識されているかどうか確認

  > dmesg
  

• ログの最後の方にUSBのメッセージが出ているので、エラーが出ていないかどうか確認する
• エラーが出ておらず、'sdc1'のように認識している場合
  • 手動でマウントする

    > mount /dev/sdc1 /mnt
    

• エラーが出ている場合
  • HDDを繋ぎ直しても同様であればHDDのトラブルの可能性が高い

USB HDD をアンマウントできない†

• ソフト的な問題で「使用中」になっているとアンマウントできない
• マウント位置にプロセスが残っていないかチェック

  > fuser /media/ASTE#13b
  

• 残っていたら、シェルなどであればカレントディレクトリを移動する、何かの処理プログラムであればプロセスをkillする (問題なければ) 等の処置を行う
• うまく行かない場合、コンピュータ (aste-1x) をシャットダウンしたうえで取り外せばほぼ大丈夫
• シャットダウンもうまく行かず、強制断した場合は、その USB HDD は後で fsck する

message 'lack of disk space!' or 'Not enough disk space on media ...'†

• 空いている HDD を使用する
• USB HDD 内にこのデータ転送以外に使用した領域があれば削除
• データがとっくに日本まで届いているような古いディレクトリを削除
• 空HDDでも入らないほどデータを貯めこんでしまったら、computing に連絡 (手動処理します)

その他†

• 何かあれば computing に連絡を

SMART による HDD の故障予測†

• 最近の HDD は SMART という仕掛けで故障予測ができるように工夫されています。
• 通常 HDD は少々のエラーは自動修復機能で直して動作を続けます。 この頻度が上がると故障が近い、というような判断を行います。

• たとえば Windows では crystaldiskinfo などの無償ソフトウェアで SMART 情報を読み取ることができます。
• ASTEでは超高地での利用のためか HDD の故障率は高く、 I/Oエラーを起こしたHDDは SMART でも警告が出ることが多いようです。
• HDDの動きに違和感を感じたら、SMARTをチェックしてみるのがお勧めです。

ファイルシステムチェック†

• 前項の、 HDD の機械的な故障とは別の話ですが、 USB HDD は、ファイルシステムの破壊につながる操作を 受ける危険性が高い (eg. unmount を忘れて取り外す、など) 一方で、 内蔵 HDD と違い定期的な自動チェックが行われません。 そのため時々 fsck コマンドによって検査すると良いと思われます。
• 特にマウント状態で停電が起きた場合などには必ずチェックすべきです。

mkfs /dev/sdx1

• 注意: マウントされた状態ではチェックできません
• エラーが数多く表示された場合は利用を避けてください。 ただし誤操作でファイルシステムを壊した場合など原因がはっきりしている場合は、 ファイルシステムの再作成で再び利用できるようになることもあります。
• 日本から戻ったばかりの HDD は日本でチェック済です

ファイルシステムの再作成†

• 現在三鷹に帰ったHDDは、チリに戻す前にファイルシステムを作りなおしたうえ、ボリュームラベルを書いています。

• 操作方法は以下の通りですが、危険な作業なので、自信のない人は実行しないでください。

  mkfs.ext3 /dev/sdx1              (ファイルシステムの再作成 -- 既存のデータはすべて無くなります)
  e2label /dev/sdx1 "ASTE#21b"     (ボリュームラベルの設定)

• USB HDD のデバイス名 (/dev/sdx1) は都度変わる可能性もあります。よく確認してください。 誤ったデバイス名を用いると、外付け USB HDD ではなく PC の内蔵 HDD を読めなくしたり、 PC を起動できなくしてしまう危険があります。

• USB HDD には識別のための名前を与えてあり、 HDD 表面にテプラなどで貼ってあります。この HDD の名前をボリュームラベルとして設定してください。通常は "ASTExxxx" と名付けられている事が多いと思います。この名前が自動マウントのマウント位置の名前になります。

  /media/{volume label}

• データ輸送用のディレクトリを作り、パーミッションを正しく設定してください。

  mount /dev/sdx1 /mnt             (USB HDD をマウントしてみる)
  mkdir /mnt/to_spda /mnt/to_jpn   (データ輸送用ディレクトリを作成)
  chmod 777 /mnt/to_spda /mnt/to_jpn   (パーミッション設定)
  
  umount /mnt                      (USB HDD を取り外す前にはアンマウント)

• 注意: くどいですが危険な操作です。デバイス名などあやふやなまま実行しないでください。