Man page - gfpcopy(1)

Packages contains this manual

Package:  gfarm-client
apt-get install gfarm-client

Manuals in package:
• gfusage(1)
• gfgetfacl(1)
• gfservice(1)
• gfdirquota(1)
• gfreg(1)
• gfchgrp(1)
• gfquota(1)
• gfstat(1)
• gfsched(1)
• gfln(1)
• gfchown(1)
• gfedquota(1)
• gfexport(1)
• gfhostgroup(1)
• gfdf(1)
• gfmdhost(1)
• gfhost(1)
• gfquotacheck(1)
• gfgroup(1)
• gfmv(1)
• gfwhere(1)
• gfsudo(1)
• gfwhoami(1)
• gfstatus(1)
• gfpcopy(1)
• gfrm(1)
• gfrep(1)
• gfkey(1)
• gfcksum(1)
• gfprep(1)
• gflsof(1)
• gfchmod(1)
• gffindxmlattr(1)
• gfuser(1)
• gfncopy(1)
• gftest(1)
• gfls(1)
• gfsetfacl(1)
• gfrmdir(1)
• gfxattr(1)
• gfmkdir(1)
• gfarmbb(1)
Documentations in package:
• gfarm-client

Available languages:

en ja

Manual

GFPCOPY

NAME
SYNOPSIS
DESCRIPTION
SOURCE PATH
DESTINATION PATH
GFPCOPY OPTIONS
COMMON OPTIONS
EXAMPLES
NOTES
SEE ALSO

---

NAME

gfpcopy - フ ァ イ ル を 並 列 に コ ピ ー す る

SYNOPSIS

gfpcopy [-nqvdpPU] [-X regexp ] [-S source-domainname ] [-h source-hostfile ] [-D destination-domainname ] [-H destination-hostfile ] [-j num-of-processes ] [-J num-of-processes ] [-M total-byte ] [-z minimum-byte ] [-Z maximum-byte ] [-w way-of-scheduling ] [-W kilobytes-for-threshold ] [-s KB/s-to-simulate ] [-F num-for-readahead ] [-f] [-b bufsize ] [-e] [-k] source-path destination-path

DESCRIPTION

gfpcopy は 、 複 数 の フ ァ イ ル を 並 列 に コ ピ ー し ま す 。

source-path が デ ィ レ ク ト リ の 場 合 は 、 そ の 下 に あ る す べ て の フ ァ イ ル と デ ィ レ ク ト リ を コ ピ ー し ま す 。

destination-path が 存 在 し な い 場 合 は 、 デ ィ レ ク ト リ を 作 成 し ま す 。 destination-path が 存 在 す る 場 合 は 、 そ の デ ィ レ ク ト リ の 下 に source-path と 同 名 の デ ィ レ ク ト リ を 作 成 し ま す 。

作 成 先 の ホ ス ト 群 を 指 定 す る こ と に よ り 、 コ ピ ー し た フ ァ イ ル を 格 納 す る ホ ス ト を 指 定 す る こ と が で き ま す 。 ホ ス ト 群 は 、 ド メ イ ン 名 か 、 ホ ス ト 名 を 行 ご と に 記 述 し た ホ ス ト フ ァ イ ル で 指 定 し ま す 。 ド メ イ ン 名 と ホ ス ト フ ァ イ ル を 両 方 指 定 し た 場 合 は 、 両 方 の 条 件 に 合 う ホ ス ト 群 が 選 ば れ ま す 。 ま た 、 作 成 元 の ホ ス ト 群 も 指 定 可 能 で す 。 そ の 場 合 、 そ の ホ ス ト 群 に 存 在 す る フ ァ イ ル の み コ ピ ー さ れ ま す 。

gfpcopy は 、 デ ィ レ ク ト リ を 辿 る 際 に 、 デ ィ レ ク ト リ エ ン ト リ 情 報 も 並 列 に 取 得 し ま す 。

SOURCE PATH

source-path に は 以 下 を 指 定 で き ま す 。 な お 、 HPSS上 の フ ァ イ ル は コ ピ ー で き ま せ ん 。

パ ス 名

ロ ー カ ル フ ァ イ ル シ ス テ ム 上 の パ ス を 絶 対 パ ス ま た は 相 対 パ ス で 指 定 し ま す 。 そ の パ ス が gfarm2fs の マ ウ ン ト ポ イ ン ト の 場 合 は 、 gfarm2fsを 経 由 せ ず に Gfarm か ら コ ピ ー し ま す 。

gfarm:...

Gfarm URL で 指 定 し ま す 。

file:...

ロ ー カ ル フ ァ イ ル シ ス テ ム 上 の パ ス を URL で 指 定 し ま す 。

DESTINATION PATH

destination-path に は 以 下 を 指 定 で き ま す 。

パ ス 名

ロ ー カ ル フ ァ イ ル シ ス テ ム 上 の デ ィ レ ク ト リ を 絶 対 パ ス ま た は 相 対 パ ス で 指 定 し ま す 。 そ の パ ス が gfarm2fs の マ ウ ン ト ポ イ ン ト の 場 合 は 、 gfarm2fs を 経 由 せ ず に Gfarm へ コ ピ ー し ま す 。

gfarm:...

デ ィ レ ク ト リ を Gfarm URL で 指 定 し ま す 。

file:...

ロ ー カ ル フ ァ イ ル シ ス テ ム 上 の デ ィ レ ク ト リ を URL で 指 定 し ま す 。

hpss:...

HPSS 上 に 存 在 す る デ ィ レ ク ト リ を URL で 指 定 し ま す 。 そ の 下 に source-path と 同 名 の デ ィ レ ク ト リ が 存 在 す る 場 合 は エ ラ ー に な り ま す 。 HPSS に 対 し て 差 分 コ ピ ー は で き ま せ ん 。 hpss:. や hpss:dir の よ う に 相 対 パ ス で 指 定 す る こ と も で き ま す 。

GFPCOPY OPTIONS

以 下 は gfpcopy 専 用 の オ プ シ ョ ン で す 。

-b bufsize

コ ピ ー 時 に 使 用 す る バ ッ フ ァ サ イ ズ を 指 定 し ま す 。 デ フ ォ ル ト は 64 KiByte (64 * 1024) で す 。

-f

-f オ プ シ ョ ン を 指 定 す る 場 合 、 コ ピ ー 先 の フ ァ イ ル と コ ピ ー 元 の フ ァ イ ル が 、 サ イ ズ ま た は mtime が 異 な る 場 合 に 上 書 き し ま す 。

-f オ プ シ ョ ン を 指 定 し な い 場 合 、 コ ピ ー 先 の ほ う が mtime が 古 い 場 合 に 、 上 書 き し ま す 。

-e

gfpcopy を 複 数 同 時 に 実 行 す る た め に 、 コ ピ ー 先 に フ ァ イ ル が 存 在 す れ ば 無 視 し ま す 。

-k

シ ン ボ リ ッ ク リ ン ク を コ ピ ー し ま せ ん 。

COMMON OPTIONS

gfprep と gfpcopy に は 、 共 通 で 利 用 で き る オ プ シ ョ ン が あ り ま す 。

-X regexp

regexp で 指 定 し た 正 規 表 現 に よ る パ タ ー ン と 一 致 す る パ ス 名 を 無 視 し ま す 。 複 数 個 の パ タ ー ン を 指 定 す る 場 合 は 、 -X オ プ シ ョ ン を 複 数 回 指 定 し ま す 。

-S source-domainname

指 定 さ れ た ド メ イ ン 名 に 格 納 さ れ て い る フ ァ イ ル だ け を 複 製 作 成 、 コ ピ ー の 対 象 に し ま す 。

-h source-hostfile

指 定 さ れ た ホ ス ト フ ァ イ ル の ホ ス ト に 格 納 さ れ て い る フ ァ イ ル だ け を 複 製 作 成 、 コ ピ ー の 対 象 に し ま す 。 ホ ス ト フ ァ イ ル に は 、 ホ ス ト を 一 行 ず つ 記 述 し ま す 。

‘‘-'' を 指 定 す る と 、 ホ ス ト 名 の リ ス ト を 標 準 入 力 か ら 読 み 込 み ま す 。

-L

-S ま た は -h で 指 定 し た ホ ス ト か ら 複 製 、 コ ピ ー を 作 成 し ま す 。

-D destination-domainname

指 定 さ れ た ド メ イ ン 名 の ホ ス ト に 複 製 、 コ ピ ー を 作 成 し ま す 。

こ の オ プ シ ョ ン も -H オ プ シ ョ ン も 指 定 し な い 場 合 、 利 用 可 能 な 全 ホ ス ト を 対 象 に 複 製 、 コ ピ ー を 作 成 し ま す 。

-H destination-hostfile

指 定 さ れ た ホ ス ト フ ァ イ ル の ホ ス ト に 複 製 、 コ ピ ー を 作 成 し ま す 。 ホ ス ト フ ァ イ ル に は 、 ホ ス ト を 一 行 ず つ 記 述 し ま す 。

‘‘-'' を 指 定 す る と 、 ホ ス ト 名 の リ ス ト を 標 準 入 力 か ら 読 み 込 み ま す 。

-j num-of-processes

同 時 に 複 製 作 成 や コ ピ ー を す る 際 の 最 大 並 列 数 を 指 定 し ま す 。

デ フ ォ ル ト 値 は gfarm2.conf の client_parallel_copy パ ラ メ ー タ で す 。 最 大 値 は gfarm2.conf の client_parallel_max パ ラ メ ー タ で す 。 詳 細 は gfarm2.conf の マ ニ ュ ア ル を 参 照 し て く だ さ い 。

作 成 元 ま た は 作 成 先 の ホ ス ト ご と の 最 大 並 列 数 は 、 CPU 数 で す 。 CPU 数 に つ い て は 、 gfhost の マ ニ ュ ア ル を 参 照 し て く だ さ い 。

-J num-of-processes

並 列 に デ ィ レ ク ト リ を 辿 る た め の 並 列 数 を 指 定 し ま す 。

デ フ ォ ル ト 値 は 8 で す 。

-M total-byte

フ ァ イ ル 複 製 、 ま た は コ ピ ー す る フ ァ イ ル の 合 計 の バ イ ト 数 を 指 定 し ま す 。 あ る ホ ス ト に 格 納 さ れ て い る フ ァ イ ル の 容 量 を 、 指 定 バ イ ト 数 移 動 し て 減 ら し た い と き な ど に 便 利 で す 。

デ フ ォ ル ト で は 制 限 し ま せ ん 。

-z minimum-byte

フ ァ イ ル 複 製 、 ま た は コ ピ ー す る フ ァ イ ル の 最 低 サ イ ズ を バ イ ト 単 位 で 指 定 し ま す 。 小 さ い フ ァ イ ル は フ ァ イ ル 複 製 や コ ピ ー の 対 象 外 と し た い と き に 便 利 で す 。

デ フ ォ ル ト で は 制 限 し ま せ ん 。

-Z maximum-byte

フ ァ イ ル 複 製 、 ま た は コ ピ ー す る フ ァ イ ル の 最 大 サ イ ズ を バ イ ト 単 位 で 指 定 し ま す 。 大 き い フ ァ イ ル は フ ァ イ ル 複 製 や コ ピ ー の 対 象 外 と し た い と き に 便 利 で す 。

デ フ ォ ル ト で は 制 限 し ま せ ん 。

-w way-of-scheduling

ス ケ ジ ュ ー リ ン グ 方 法 を 指 定 し ま す 。 noplan に す る と 、 フ ァ イ ル を 見 つ け な が ら 、 複 製 作 成 ま た は コ ピ ー し ま す 。 greedy に す る と 、 複 製 作 成 や コ ピ ー す る 前 に 、 貪 欲 法 に よ っ て ス ケ ジ ュ ー リ ン グ し ま す 。

デ フ ォ ル ト は noplan で す 。

greedy に す る と 、 -N や -m オ プ シ ョ ン を 使 用 す る こ と が で き ま せ ん 。

-W kibibytes

各 Connection の コ ス ト (合 計 フ ァ イ ル サ イ ズ )を 平 均 と み な す ま で の 閾 値 を キ ビ バ イ ト で 指 定 し ま す 。 Connection と は 、 子 プ ロ セ ス ご と に フ ァ イ ル を 割 り 当 て る た め の 、 計 画 情 報 で す 。

-w greedy オ プ シ ョ ン を 使 用 し た 場 合 の み 効 果 が あ り ま す 。

デ フ ォ ル ト は 50 * 1024 キ ビ バ イ ト (50 メ ビ バ イ ト ) で す 。

-I sec-to-update

各 ホ ス ト の ロ ー ド ア ベ レ ー ジ や デ ィ ス ク の 空 き 容 量 を 定 期 的 に 取 得 す る 間 隔 を 秒 単 位 で 指 定 し ま す 。

デ フ ォ ル ト は 300 秒 で す 。

-B

高 負 荷 な ホ ス ト も 作 成 先 の 対 象 に し ま す 。

デ フ ォ ル ト で は 高 負 荷 な ホ ス ト を 作 成 先 の 対 象 に し ま せ ん 。 そ の た め 、 す べ て の ホ ス ト が 高 負 荷 の 場 合 は フ ァ イ ル 複 製 、 コ ピ ー は 行 わ れ ま せ ん 。

高 負 荷 な ホ ス ト と は 、 (ロ ー ド ア ベ レ ー ジ / CPU 数 ) が gfarm2.conf の schedule_busy_load_thresh よ り も 高 い ホ ス ト で す 。 schedule_busy_load_thresh の デ フ ォ ル ト 値 は gfarm2.conf の マ ニ ュ ア ル を 参 照 し て く だ さ い 。 CPU 数 に つ い て は gfhost の マ ニ ュ ア ル を 参 照 し て く だ さ い 。

-U

ホ ス ト の デ ィ ス ク の 空 き 容 量 を 毎 回 チ ェ ッ ク し な く な り ま す 。

-F num-of-dirents

デ ィ レ ク ト リ エ ン ト リ の 情 報 を 先 読 み す る 数 を 指 定 し ま す 。

デ フ ォ ル ト は 10000 で す 。

-s kilobytes-per-second

シ ミ ュ レ ー シ ョ ン す る 際 の 転 送 速 度 を KB/s で 指 定 し ま す 。 実 際 に は コ ピ ー せ ず 、 フ ァ イ ル 情 報 を 取 得 す る の み に な り ま す 。

-n

何 も し ま せ ん 。 デ ィ レ ク ト リ を 辿 る だ け で す 。

-p

性 能 の 総 合 結 果 を 報 告 し ま す 。

-P

性 能 に 関 し て フ ァ イ ル ご と の 結 果 と 総 合 結 果 を 報 告 し ま す 。

-q

警 告 を 表 示 し ま せ ん 。

-v

冗 長 な 情 報 を 出 力 し ま す 。

-d

デ バ ッ グ 情 報 を 出 力 し ま す 。

-?

コ マ ン ド オ プ シ ョ ン を 出 力 し ま す 。

EXAMPLES

デ ィ レ ク ト リ 以 下 す べ て を コ ピ ー し ま す 。

$ gfpcopy gfarm:///dir file:///tmp/dir

$ gfpcopy file:///tmp/dir gfarm:///dir

$ gfpcopy gfarm:///dir1 gfarm:///dir2

$ gfpcopy gfarm:///dir hpss:///tmp/dir

$ cd /mnt/gfarm2fs
$ gfpcopy dir /tmp/dir

一 つ の フ ァ イ ル を コ ピ ー し ま す 。

$ gfpcopy gfarm:///dir/file file:///dir

$ cd /mnt/gfarm2fs
$ gfpcopy file /tmp/dir

NOTES

gfmd と gfpcopy が 距 離 的 に 離 れ て い る 場 合 に は 、 gfpcopy の 動 作 が 遅 く な り ま す 。 そ の よ う な 場 合 に は 、 -j ま た は -J オ プ シ ョ ン に 大 き な 値 を 指 定 す る と 、 性 能 が 改 善 す る か も し れ ま せ ん 。

SEE ALSO

gfprep (1), gfreg (1), gfexport (1), gfarm2.conf (5)

---