日時：2007年12月20日(木) 18:30 から
場所：東京大学 本郷キャンパス 工学部 6号館 3階セミナー室AD (地図)
話者：
鴨志田良和・斎藤秀雄 (東京大学)
話題：
広域分散プラットフォームInTriggerとそれを実現するツール群
概要：
InTriggerは, 数百台（現状）のコモディティな計算機で構成された計算機環
境であり, 複数のクラスタが,日本の各地にある大学や研究機関に分散して配
備されている.広域分散型のシステムソフトウェアの研究に役立つよう,
OSやソフトウェアの導入を複数拠点に渡って行うことができるの
が大きな特徴である.また,分散並列計算のエキスパートではない研究者
でも,気軽にかつ他人に迷惑をかけないように並列計算が行えるよう,
分散計算機環境に適したプロセス管理システム(GXP)やMPIライブラリ(MC-MPI)
といった各種ライブラリ・ツールを提供している.
本発表ではInTriggerプラットフォームを実現する,拠点をまたがる管理の仕
組みや,環境の利用を助けるモニタリングシステムの概要を説明し,
上述したInTrigger環境に提供されている分散並列計算用ソフトウェアや
ライブラリの概要を説明する.また,このような計算機環境を多数のユーザが
共有するための資源利用ルールを提案し,そのルールの遵守を助けるために
作成したツールを紹介する.
出席者：17名
日比野啓（朝日ネット）、副田俊介（産総研）、長慎也（一橋大）、 繁田聡一（富士通研）、山口文彦、東達軌（東京理科大）、 山崎淳（ミラクルアーツ）、阿部正佳（フリー）、五十嵐和久（電通大OB）、 多田好克、寺田実、高須賀清隆、渡邊隆造（電気通信大）、 田中哲朗、筧一彦、横山大作、丸山一貴（東京大）
Q: gxpの標準出力のマージは? A: 行単位で行っている。 Q: QAPを解くときにデータサイズによって通信パターンが違うのでは? A: 通信行列は小さいデータサイズで全イテレーション実行して取得する方法 と大きいデータサイズで1イテレーションだけ実行する方法が考えられるが、 問題によってはどちらかもしくは両方の方法が使えないことがある。NAS Parallel Benchmarksではどちらの方法も使えた。 Q: gxpではランク割り当てに関しては考えてる? A: 考えない。ログインが成功した順にIDがふられ、gxpからプロセスを起動し たときにGXP_EXEC_IDXという環境変数で参照できる。(GXP_NUM_EXECSで全 プロセス数がわかる。) Q: ルーティングはどうしてる? A: 接続を確立した後にリンクステート情報を交換し、ダイクストラ法を用い て最短経路を計算する。P2Pのオーバレイとの違いは、接続情報が完全に分 かっているということ。 Q: InTriggerではNISやNFSは危険なのでは? A: NIS, NFSは、拠点毎に閉じている。したがって、拠点が違えばホームディ レクトリなども別々になる。gfarm, sshfsなどを利用して拠点をまたいで 同一のファイルにアクセスすることは可能。1か所にアカウントのデータベー スを集約して、拠点間でのアカウント同期を行っている。 Q: インストーラの開発はどうしてる?試行錯誤をサポートするシステムはある? A: 拠点内の一部のノードだけを再インストール対象にすることができるので、 その一部のノードを使って試行錯誤をすることができる。拠点内の全ノー ドの再インストールをする場合はユーザポータルにて事前に告知をしてか ら、週末に行うルールになっている。また、インストーラ用のサーバ (lucy32/lucy64) はVMWare上で動作しており、VMイメージをコピーしてイ ンストーラのデバッグを行うことも可能。 Q: 実運用で性善説はどうなのか?SPAM送ったりしない? A: 管理コスト、InTriggerでできることへの制約を低減するため、性善説に基 づいて運用している。アカウントの申込時に、すでにアカウントを持って いる人(学生の場合は指導教官等)を紹介者として参照することになってお り、知らない人がアカウントを持ってしまうことを防いでいる。 Q: 悪さしたときのルールは? A: 基本的に拠点ごとのルールに従う。問題が発生した拠点を切り離して問題 の切り分け・解決を行った後にInTriggerに接続しなおす。パフォーマンス 上の問題の場合はモニタリングシステムでの監視とInTrigger ユーザMLや サポートMLでの情報交換により解決を図る。また、他人のプロセスのCPU時 間をどの程度邪魔したかにより問題のランク付けを行うシステムを構築す る予定である。