History of Computer and Network/Data transfer(No. 2)

History
View the source.
Computer and Network/Data transfer has been deleted.
- 1 (2010-08-30 (Mon) 14:59:51)
- 2 (2016-03-15 (Tue) 10:22:07)
- 3 (2016-03-15 (Tue) 10:22:07)
- 4 (2016-03-15 (Tue) 10:22:07)
- 5 (2016-03-15 (Tue) 10:22:07)
- 6 (2016-03-15 (Tue) 10:22:07)

Top/Computer and Network/Data transfer

Data transfer†

RedHat6 (CentOS6) から、 USB portable HDD の自動マウント位置が変わり/media/{VOLUME_LABEL}となりました。以下の説明では、 USB portable HDD のボリュームラベルを ASTE#13b として説明します。
2014年7月の時点でaste-1xは更新のための切り替え作業中で新旧のaste-1xが併存しています。以下の説明は新aste-1xでの作業手順です。

↑

at the ASTE site†

aste-1x(新)にasteobsでログインする
USBポータブルHDDをaste-1xにつなぐ
- 自動で/media/ASTE#13bにマウントされ、画面上にASTE#13bというディスクアイコンが出る
転送するデータセットの確認
- /home/trans/to_xfer 以下に日付範囲を名前に持つディレクトリがある
```
aste-1x{asteobs}58: ls /home/trans/to_xfer
20141012-20141018/ 20141017-20141020/
```
USB HDD に以下の様にディレクトリを作成する
```
aste-1x{asteobs}59: mkdir /media/ASTE#13b/to_spda
```
- すでにある場合は不要

コピースクリプトの実行

スクリプトは/home/trans/bin/cos3_trans_aste.sh

まずは転送するデータセットを正しく認識する事をチェック

aste-1x{asteobs}60: /home/trans/bin/cos3_trans_aste.sh /media/ASTE#13b/to_spda
***found data directories to transfer*** [#ocb03654]
/home/trans/to_xfer/20141012-20141018
/home/trans/to_xfer/20141017-20141020

***found data directories to transfer*** [#o5a4ffc8]
check mode

問題なければ実行する

aste-1x{asteobs}65: /home/trans/bin/cos3_trans_aste.sh /media/ASTE#13b/to_spda -exec

以下のようなメッセージが上記データディレクトリの数だけ出力される

[日時]はコマンドを実行した日時

entering the directory: /home/trans/to_xfer/20141012-20141018
wrapping, splitting, and copying the data directory, 20141012-20141018
(file listing and errors go to 
 '/home/trans/xferlog/[日時]-xfer/cpiolog.20141012-20141018.-oav')
c20141012-20141018: data copy done.

一つでも以下のようなエラーが表示された場合は、そのままにして関係者に連絡
```
c20141012-20141018: data copy error.
```

ポータブルディスクのアンマウント
- 画面上にディスクアイコンが出ているので、それを右クリックして'Unmount Volume'を選ぶ
- もしくはターミナルで以下を実行
```
aste-1x{asteobs}66: umount /media/ASTE#13b
```
disconnecting USB HDD from aste-1x
- please handle with care
- keep connecting the USB cable to aste-1x

↑

At SEF†

OSF滞在者がデータ輸送のためにSPdA事務所を頻繁に訪問しなくて済むようSEFに一時保管用の計算機aste-sefを運用する
- 山頂でUSB HDDに読みだしたデータをaste-sefに一時保存する
- SPdAを訪問する機会には、aste-sefからUSB-HDDに再度データを移してaste-ax2に転送する
- 日本向け輸送データはSPdAのaste-ax2にて作成することにする

↑

transfer from the ASTE site to SEF†

aste-sefにasteobsでログインする
山頂でデータをコピーしたUSBポータブルHDDをaste-sefにつなぐ
- 自動で/media/ASTE#13bにマウントされ、画面上にASTE#13bというディスクアイコンが出る
転送データの確認
```
[asteobs@aste-sef ~]$ ls /media/ASTE#13b/to_spda/*
```
- 山頂でコピーしたファイル(日付範囲+'.cpio.'+なんちゃら)が入っているはず

コピースクリプトの実行

スクリプトは/home/trans/bin/cos3_trans_sef.sh
まずは転送するデータセットを正しく認識する事をチェック

[日時]はサイトでcos3_trans_aste.shを実行した日時

[asteobs@aste-sef ~]$ /home/trans/bin/cos3_trans_sef.sh /media/ASTE#13b/to_spda
*** found data to transfer ***
/media/ASTE#13b/to_spda/[日時]/c20140825-20140826
/media/ASTE#13b/to_spda/[日時]/c20140825-20140828
/media/ASTE#13b/to_spda/[日時]/c20140825-20140830
*** found data to transfer ***

check mode

問題なければ実行する

[asteobs@aste-sef ~]$ /home/trans/bin/cos3_trans_sef.sh /media/ASTE#13b/to_spda -exec
}
#pre{{
data copy starts
logging goes to (/home/trans/xferlog/[日時]-sef)
*** copying data to Japan ***
/usr/bin/rsync -auv /media/ASTE#13b/to_spda/[日時] /media/ASTE#13b/to_spda/[日時]   /home/trans/savedir/

*** done ***

[日時]はサイトでcos3_trans_aste.shを実行した日時
以下の様にエラーが起きた場合はそのままにして関係者に連絡
```
*** data copy failed ***
```

輸送データ消去
- 山頂でデータを読みだしたUSB HDDをそのままSPdAにも持ち帰れるよう、SEFでは輸送データの消去は行わない

↑

transfer from SEF to SPdA†

aste-sefにasteobsでログインする
USBポータブルHDDをaste-sefにつなぐ
- 自動で/media/ASTE#13bにマウントされ、画面上にASTE#13bというディスクアイコンが出る
転送データの確認
- /home/trans/savedir内には、以前cos3_trans_sef.shで保存したディレクトリが含まれる
```
[asteobs@aste-sef ~]$ ls /home/trans/savedir
 20141008t153200z 20141020t160011z
```
USB HDD に以下の様にディレクトリを作成する
```
[asteobs@aste-sef ~]$ mkdir /media/ASTE#13b/to_spda
```
- すでにある場合は不要

コピースクリプトの実行

スクリプトは/home/trans/bin/cos3_trans_to_spda.sh

まずは転送データを正しく認識する事をチェック

[asteobs@aste-sef ~]$ /home/trans/bin/cos3_trans_to_spda.sh /media/ASTE#13b/to_spda
***found data directories to transfer***
/home/trans/savedir/20141008t153200z
/home/trans/savedir/20141020t160011z

***found data directories to transfer***
check mode

問題なければ実行する

[asteobs@aste-sef ~]$ /home/trans/bin/cos3_trans_to_spda.sh /media/ASTE#13b/to_spda -exec

rsyncにてファイルがコピーされる

....

data copy starts
logging goes to (/home/trans/xferlog/[日時]-jpn)

--- copying data to SPdA---
rsync -auv /home/trans/savedir/[日時] /home/trans/savedir/[日時]  /media/ASTE#13b/to_spda/

*** done ***

rsyncされるデータの日時は山頂でcos3_trans_aste.shを実行した日時
以下の様にエラーが起きた場合はそのままにして関係者に連絡
```
*** data copy failed ***
```

ポータブルディスクのアンマウント
- 画面上にディスクアイコンが出ているので、それを右クリックして'Unmount Volume'を選ぶ
- もしくはターミナルで以下を実行
```
[asteobs@aste-sef ~]$ umount /media/ASTE#13b
```

↑

At SPdA†

↑

transfer from the ASTE site to SPdA†

aste-ax2にasteobsでログインする
山頂でデータをコピーしたUSBポータブルHDDをaste-ax2につなぐ
- 自動で/media/ASTE#13bにマウントされ、画面上にASTE#13bというディスクアイコンが出る
転送データの確認
```
[asteobs@aste-ax2 ~]$ ls /media/ASTE#13b/to_spda/*
```
- 山頂でコピーしたファイル(日付範囲+'.cpio.'+なんちゃら)が入っているはず

コピースクリプトの実行

スクリプトは/home/trans/bin/cos3_trans_spda.sh
まずは転送するデータセットを正しく認識する事をチェック

[日時]はサイトでcos3_trans_aste.shを実行した日時

[asteobs@aste-ax2 ~]$ /home/trans/bin/cos3_trans_spda.sh /media/ASTE#13b/to_spda
*** found data to transfer ***
/media/ASTE#13b/to_spda/[日時]/c20140825-20140826
/media/ASTE#13b/to_spda/[日時]/c20140825-20140828
/media/ASTE#13b/to_spda/[日時]/c20140825-20140830
*** found data to transfer ***

check mode

問題なければ実行する

[asteobs@aste-ax2 ~]$ /home/trans/bin/cos3_trans_spda.sh /media/ASTE#13b/to_spda -exec
}
--まず日本への輸送データとして/home/trans/to_japan/[日時]のディレクトリへコピーされる
#pre{{
data copy starts
logging goes to (/home/trans/xferlog/[日時]-spda)
*** copying data to Japan ***
/usr/bin/rsync -auv /media/ASTE#13b/to_spda/[日時] /home/trans/to_japan

*** done ***

[日時]はサイトでcos3_trans_aste.shを実行した日時
以下の様にエラーが起きた場合はそのままにして関係者に連絡
```
*** data copy failed ***
```

次にファイル結合とcpioによるファイル展開が行われる。

entering the directory: /home2/dataxfer

decompress the data, c20141012-20141018

c20141012-20141018: data copy done.

以下の様にエラーが起きた場合はそのままにして関係者に連絡

c20141012-20141018: data copy error.
copy NG. status==x x, message follow (50 lines):
.... error message ....

輸送データ消去
- 転送が正常に終わると、ポータブルディスク内の[日時]のディレクトリはリネームされ消去状態になる
```
***rename data directory in media***
chdir /media/ASTE#13b
mv  20141008t153200z  20141008t153200z.done
....
```
  - cos3_trans_spda.shでは認識されなくなるが、万が一必要な場合は後で回復可能
ポータブルディスクのアンマウント
- 画面上にディスクアイコンが出ているので、それを右クリックして'Unmount Volume'を選ぶ
- もしくはターミナルで以下を実行
```
[asteobs@aste-ax2 ~]$ umount /media/ASTE#13b
```

↑

transfer from SPdA to Japan†

aste-ax2にasteobsでログインする
USBポータブルHDDをaste-ax2につなぐ
- 自動で/media/ASTE#13bにマウントされ、画面上にASTE#13bというディスクアイコンが出る
転送データの確認
- /home/trans/to_japan内には、山頂でcos3_trans_aste.shを実行した日時のディレクトリが含まれる
```
[asteobs@aste-ax2 ~]$ ls /home/trans/to_japan
 20141008t153200z 20141020t160011z
```
USB HDD に以下の様にディレクトリを作成する
```
[asteobs@aste-ax2 ~]$ mkdir /media/ASTE#13b/to_jpn
```
- すでにある場合は不要

コピースクリプトの実行

スクリプトは/home/trans/bin/cos3_trans_jpn.sh

まずは転送データを正しく認識する事をチェック

[asteobs@aste-ax2 ~]$ /home/trans/bin/cos3_trans_jpn.sh /media/ASTE#13b/to_jpn
***found data directories to transfer***
/home/trans/to_japan/20141008t153200z
/home/trans/to_japan/20141020t160011z

***found data directories to transfer***
check mode

問題なければ実行する

[asteobs@aste-ax2 ~]$ /home/trans/bin/cos3_trans_jpn.sh /media/ASTE#13b/to_jpn -exec

rsyncにてファイルがコピーされる

....

data copy starts
logging goes to (/home/trans/xferlog/[日時]-jpn)

--- copying data to Japan ---
rsync -auv /home/trans/to_japan/[日時] /home/trans/to_japan/[日時]   /media/ASTE#13b/to_jpn/

*** done ***

rsyncされるデータの日時は山頂でcos3_trans_aste.shを実行した日時
以下の様にエラーが起きた場合はそのままにして関係者に連絡
```
*** data copy failed ***
```

ポータブルディスクのアンマウント
- 画面上にディスクアイコンが出ているので、それを右クリックして'Unmount Volume'を選ぶ
- もしくはターミナルで以下を実行
```
[asteobs@aste-ax2 ~]$ umount /media/ASTE#13b
```

↑

At Mitaka†

運んできたUSB HDDは、以下の方法で関係者に渡して下さい。
- ASTE関係者に直接手渡しする
- 三鷹ASTE室に置いておき、aste-comp@alma.mtk.nao.ac.jpへ連絡
- その他、分からなければaste-comp@alma.mtk.nao.ac.jpに連絡してください

↑

FAQ†

↑

USB HDD cannot be umounted†

dmesgでディスクが認識されているかどうか確認
```
> dmesg
```
ログの最後の方にUSBのメッセージが出ているので、エラーが出ていないかどうか確認する
エラーが出ておらず、'sdc1'のように認識している場合
- 手動でマウントする
```
> mount /dev/sdc1 /mnt
```
エラーが出ている場合
- ディスクを繋ぎ直してみる
- ディスクを交換する

↑

USB HDD is mounted on /mnt instead of on /media/ASTE#13b†

手順書内の/media/ASTE#13bを/mntとして実行する

↑

USB HDD cannot be unmounted†

マウント先にユーザーが残っていないかチェック
```
> fuser /media/ASTE#13b/*
```
残っていたら、ディレクトリを移動する、プロセスをKILLする等の処置を行う

↑

message 'lack of disk space' appears†

USB HDD内のいらないファイルを手動で消去し、ディスクの空き容量を増やしてください
もしくは他のUSB HDDに付け替えて下さい。

↑

disk space of USB HDD is not close to being enough due to too much data†

仕方がないので二つ以上のUSB HDDで運びます
この場合は手動でのコピーになります。分かる方は手動でコピーを行い、その旨をaste-compまでお知らせ下さい。
分からなければ、aste-compか松居まで連絡してください。指示を出します。

↑

something is wrong!!!†

mail to Takayuki (takayuki.matsui -at- nao.ac.jp)

↑

memo(FAQs)†

Below is just for your information
I can't mount the USB HDD.
- USB HDD might have been recognized with a device name other than the designated one (ex. /dev/sde1). This may happen when some other devices are plugged or missing.

Is the USB HDD already automatically mounted under /media/disk/ ?

Is something already mounted under a designated mount point (ex. /mnt/backup)?

1.if possible, unmount it.
```
> umount /mnt/backup
```
then unplug it. Then try mounting your USB HDD.
```
> mount /mnt/backup
```

If you have no other option, you have to specify a correct device name instead of just specifying a mount point(ex. /mnt/backup).

1.check the device name
```
> dmesg
```
because the output is very long, you can use "less", "more", "grep", "tail", etc. to pick out what you need.

2.You'll find a couple sets of messages similar to an example below. Just look into the latest set.

usb-storage: device found at 16
usb-storage: waiting for device to settle before scanning
Vendor: I-O DATA Model: HDP-U Rev: 1.07
Type: Direct-Access ANSI SCSI revision: 02
SCSI device sdd: 156301488 512-byte hdwr sectors (80026 MB) 
sdd: Write Protect is off
sdd: Mode Sense: 53 00 00 08
sdd: assuming drive cache: write through
sdd: sdd1 <=============================== ''this part tells you the device name''

3.mount the device. here is an example for a case with a device name of "sdd1". mounting under a mount point /mnt/backup. (make sure there is nothing already mounted under the mount point)
```
> mount /dev/sdd1 -t ext4 /mnt/backup
```

try with other USB HDD

System says busy and I can't unmount the HDD.
- if you have any terminal with current directory under /mnt/backup, try
```
> cd
```
  Then
```
> umount -l /mnt/backup
```
- if you have no other option,
  - try logout once, login again, and then try umount -l /mnt/backup

No comment. Comments/Computer and Network/Data transfer

↑

ファイルシステムチェック†

USB HDD は、ファイルシステムの破壊につながる操作を受ける危険性が高い (unmount 忘れなど) 一方で、内蔵 HDD と違い定期的なチェックが行われません。そのため時々 fsck コマンドによって検査すると良いと思われます。
マウント状態で停電が起きた場合などには必ずチェックすべきです。

mkfs /dev/sdx1

注意: マウントされた状態ではチェックできません
エラーが数多く表示された場合は利用を避けてください。ただし誤操作でファイルシステムを壊した場合など原因がはっきりしている場合は、ファイルシステムの再作成で再び利用できるようになることもあります。

↑

SMART による HDD の故障予測†

最近の HDD は SMART という仕掛けで故障予測ができるように工夫されています。
通常 HDD は少々のエラーは自動修復機能で自動復旧して動作を続けます。この頻度が上がると故障が近い、というような判断を行います。

たとえば Windows では crystaldiskinfo などの無償ソフトウェアで SMART 情報を読み取ることができます。
ASTEでは超高地での利用のためか HDD の故障率は高く、 I/Oエラーを起こしたHDDは SMART でも警告が出ることが多いようです。
HDDの動きに違和感を感じたら、チェックしてみるのがお勧めです。

↑

ファイルシステムの再作成†

三鷹や SPdA への輸送が終わった HDD からは古いデータを削除するわけですが、データ削除と fsck を実行する代わりに、(毎回とは言いませんが) 時には mkfs でファイルシステムを作り直す事も検討してみてください。

操作方法は以下の通りですが、危険な作業なので、自信のない人は実行しないでください。

mkfs.ext3 /dev/sdx1              (ファイルシステムの再作成 -- 既存のデータはすべて無くなります)
e2label /dev/sdx1 "ASTE#21b"     (ボリュームラベルの設定)

USB HDD のデバイス名 (/dev/sdx1) は都度変わる可能性もあります。よく確認してください。誤ったデバイス名を用いると、 PC 本体の重要データを永久に失ったり、 PC を起動できなくしてしまう危険性があります。

USB HDD には識別のための名前が与えられています。 HDD 表面に書かれている HDD の名前をボリュームラベルとして設定してください。通常は "ASTExxxx" と名付けられている事が多いと思います。この名前が自動マウントのマウント位置の名前になります。
```
/media/{volume label}
```

データ輸送用のディレクトリを作り、パーミッションを正しく設定してください。

mount /dev/sdx1 /mnt             (USB HDD をマウントしてみる)
mkdir /mnt/to_spda /mnt/to_jpn   (データ輸送用ディレクトリを作成)
chmod 777 /mnt/to_spda /mnt/to_jpn   (パーミッション設定)

umount /mnt                      (USB HDD を取り外す前にはアンマウント)

注意: くどいですが危険な操作です。デバイス名などあやふやなまま実行しないでください。

History of Computer and Network/Data transfer (No. 2)

Data transfer†

at the ASTE site†

At SEF†

transfer from the ASTE site to SEF†

transfer from SEF to SPdA†

At SPdA†

transfer from the ASTE site to SPdA†

transfer from SPdA to Japan†

At Mitaka†

FAQ†

USB HDD cannot be umounted†

USB HDD is mounted on /mnt instead of on /media/ASTE#13b†

USB HDD cannot be unmounted†

message 'lack of disk space' appears†

disk space of USB HDD is not close to being enough due to too much data†

something is wrong!!!†

memo(FAQs)†

ファイルシステムチェック†

SMART による HDD の故障予測†

ファイルシステムの再作成†