2大学共同でのシステム導入は日本で初めて

──新スーパーコンピュータ「Oakforest-PACS」の導入・稼働は、日本の計算科学にとって、どのような意義があるとお考えですか。

中村（敬称略）　いちばん大きな意義は、5年ぶりに国内最高性能システムの交代を達成したことです。2011年に「京」が世界で初めて10PFLOPSの壁を破り、さまざまな科学技術分野で研究開発が進展してまいりましたが、より強力な計算能力へのニーズが高まるなか、その後5年間にわたって「京」に代わる国内最高性能システムが出てこなかったのは、とても残念なことでした。今回、「Oakforest-PACS」が国内最高性能システムになったことで、日本全体で提供できる計算能力を一層高めることができ、日本の科学技術のさらなる発展の道を拓くことができるのではないかと期待しています。もうひとつの意義は、2大学の共同調達・導入・運用という国内初の試みが結実したことです。

──東京大学と筑波大学が共同でひとつのシステムを導入・運用するという取り組みは、どのようにして実現したのですか。

中村　2008年に、東京大学情報基盤センター、筑波大学計算科学研究センター、京都大学学術情報メディアセンターの3機関による「T2K Open Supercomputer Alliance」という連携共同研究が行われ、それぞれのスーパーコンピュータ調達において基本アーキテクチャ仕様を共通化し、できるだけオープンなシステム利用・ソフトウェア開発環境を構築しようとする取り組みが進められました。このとき、東京大学が導入したのが「T2K-Todai」で、当時は国内第1位の性能を達成し、筑波大学が導入した「T2K-Tsukuba」は国内第2位の性能を達成しました。こうした背景のもと、2013年には東京大学と筑波大学が大学間で協定を結び、最先端共同HPC基盤施設（JCAHPC）を立ち上げ、両センターが一緒になって、次期主力システムを一本化し、国内最大規模となる単一の新スーパーコンピュータを調達しようという話が動き出しました。これが“ポストT2K”ともいえる、今回の「Oakforest-PACS」というわけです。最初から共同調達が既定路線というわけではありませんでしたが、議論を重ねるなかで、リプレースのスケジュールも合いそうだし、何より予算を一緒にすることで規模も大きくできる、それはシステムの規模だけでなく、運用コストや人員配置なども含めてスケールメリットが活かせるということで、共同調達が実現しました。複数の組織が一緒になってひとつのシステムを調達・運用するというのは、もちろん簡単なことではありません。実際に、両センターはそれぞれ目指すミッションも異なるわけです。協定が結ばれたからすぐにできるというものではなく、これまで両センターが連携しながら行ってきた技術協力や意見交換、共同研究などの下地があったからこそ実現したのだと思います。もうひとつ重要なことは、われわれのセンターも筑波大学計算科学研究センターも、他に複数の計算資源を保有していたということです。もしひとつしかシステムがなくて、新しいシステムに置き換えるということであれば、共同調達は難しかったかもしれません。お互いのミッションを推進する上でカバーできる他の計算システムがあったからこそ可能だったのだと思います。

最先端のメニーコア型プロセッサを採用

──共同調達が決まってから、両センターのミッションの違いなども考慮しながら、どのようなシステムを構築しようとお考えになりましたか。

中村　T2Kの精神に基づいて、オープンな最先端技術を導入することが、両センターの一致した考え方でした。システムの基本仕様としては、比較的早い時点で、最先端のメニーコア型プロセッサを搭載した超並列クラスタ型スーパーコンピュータに決まりました。GPU（アクセラレータ）を採用する案もありましたが、広範囲な研究分野のユーザーとアプリケーションの利用を考慮して、汎用性を重視した結果、GPUは不採用になりました。例えば「TOP500」の1位を目指すということであれば、GPUを採用した方がコストあたりの性能が向上するので有利ですが、筑波大学は先端学際計算科学共同研究拠点、私たちは学際大規模情報基盤共同利用・共同研究拠点（JHPCN）の中核拠点であり、両センターはHPCI資源提供機関でもあることから、学外のユーザーも多いことを考えれば、幅広い研究分野のアプリケーションに対応することが重要で、より汎用性に優れたものが必要であるということです。

──調達・導入に関して、どのようなご苦労がありましたか。

中村　当初は、もっと早く、1年くらい前に運用を開始したかったのですが、有力な採用候補であったメニーコア型プロセッサの開発が遅れたことで、スケジュールが大きく遅れました。これには多少苦労させられました。私たちにはどうしようもないことですが、多くのユーザーを待たせる結果になり、他のシステムの利用率も一杯という状況でした。「Oakforest-PACS」は米国Intel社のメニーコア型プロセッサ「Xeon Phi 7250」（開発コード Knights Landing）を搭載する大規模システムですが、昨年秋の「TOP500」で、5位になった米国「Cori」も同じプロセッサを搭載しています。昨年秋まで上位のランキングに変動がなかったのは、このプロセッサの開発の遅れが一因です。ただ、こればかりは待つしかありませんからね。

──プロセッサだけでなく、ネットワークにも最新のシステムを採用していると聞きました。

中村　ノード間通信はフルバイセクションバンド幅を持つFat-Treeネットワークを採用しています。この技術は新しいわけではありませんが、それを実現するスイッチとして、Intel Omni-Pathアーキテクチャを搭載しています。これは新しい技術で、これでFat-Treeを構築することによって、非常に高いバンド幅を実現することが可能になりました。もちろん、その分コスト的には高くなっています。これをもう少し廉価版にすれば、もっとノード数を増やすことができましたが、計算ノードをより効率よく柔軟に利用できることによる共同調達のメリットやユーザーにとっての利便性などを考えて、ネットワークにお金をかけることを選択しました。

「京」を抜いて5年ぶりに国内最高性能を達成

──最初にお話しがありましたが、「Oakforest-PACS」は2016年11月の「TOP500」で6位にランキングされ、「京」を上回り、国内最高性能システムになりました。また、より実アプリケーションに近いベンチマーク手法とされるHPCG（High Performance Conjugate Gradient）ランキングでは、3位に輝きました。感想をお聞かせください。

中村　「Oakforest-PACS」のピーク性能は25PFLOPSで、「京」の約2.2倍です。システムの仕様が決まったときから、「TOP500」で「京」を抜くだろうと予想していました。米国では同じプロセッサを使用する「Cori」の開発が進んでいて、その予算規模がこちらより大きいことも知っていました。「Cori」には及ばないだろうから、システムに不具合さえなければ、おそらく6位かなと思っていました。結果、上手く動いてくれて予想通り6位でした。
HPCGの方は、実はあまり期待していませんでした。LINPACKとHPCGは、かなり性質が違っていて、ネットワークやメモリーアクセスなどが優れていなくても、性能が出るのがLINPACKです。ピーク性能が分かれば、実効性能もだいたい予想がつきます。予算規模の勝負という面が大きいのです。しかし、HPCGの方はそうではありません。システムに合わせてプログラムを最適化しないと性能が出ないベンチマーク手法です。今回は時間も限られていましたし、最適化も難しいですから、どうなるか予想がつきませんでした。ところが、実際にやってみたら、3位という好成績で、「TOP500」1位の中国のシステムも、「Cori」も抜くことができました。これは想定外でしたが、嬉しい結果でした。オリンピックでいえば銅メダルですから、やはり4位や5位とはだいぶ印象が違いますよね。世界第3位ということももちろんですが、私たちにとっては、いろいろな応用分野にちゃんと使えることが証明されたことが何より喜ばしいことでした。

──これまでの実験的運用を経て、いよいよ4月から本格的な運用が開始されましたが、どのような戦略をお考えですか。

中村　とにかく国内最高の計算資源を最大限有効に活用していくということで、一般的な利用に関しては、特に戦略というものはありません。サイエンス・エンジニアリングをドライブすることが、このセンターのミッションですから、より大きな計算資源があればサイエンスが大きく進展するという研究にリソースを提供していくわけです。HPCIをはじめ、各種共同利用・共同研究プログラムでの利用に加えて、大学における教育的な利用、センターが行う講習会などにも使われます。ただ、せっかく国内最高性能を達成したシステムですから、全ノードを占有した全系での大規模なHPCチャレンジへの取り組みも推進していきたいと考えています。全系を使うと、他の研究に使えなくなりますから、その意味では、計算資源をどう使うかはもちろん、科学的・社会的にインパクトのある課題の選択など、しっかりとした戦略を持ってやっていかなければと思っています。基本的には学術機関のマシンですから、どちらかというとサイエンス的にインパクトのあるアプリケーションを選んで、全系で初めて可能な計算を行い、世界的に注目されるような成果を生み出していきたいですね。例えば、ゴードン・ベル賞を狙えるような成果を出したい。世界6位ですから、達成できるかどうかは分かりませんが、少なくともチャレンジしていくことは重要だと思っています。あとは、産業利用についても戦略的に進めていくことを考えています。現在、産業利用の課題数はあまり多くありませんが、将来的にはスーパーコンピュータをより広く産業へ応用することが求められており、ポスト「京」時代に向けて、企業との共同研究なども注力して進めていきたいと思っています。

ポスト「京」に向けて日本のHPCを牽引する「Oakforest-PACS」

──「京」を抜いた国内最高性能のマシンとして、「Oakforest-PACS」は日本のHPCを牽引するという新たな役割も果たしていくことになりますね。

中村　日本の計算科学を引っ張っていけるような計算資源を提供することが、私たちのミッションですから、日本のHPCコミュニティを牽引して行かなければいけないということは、私たちも強く意識しています。その意味では「Oakforest-PACS」が目指すところは、ポスト「京」と何も変わりはありません。ポスト「京」がメニーコア型になることは、多くの人たちが予想していたことです。それは、現在の技術を考えたら、広い汎用性とより高度な計算性能を狙うとすれば、メニーコア型が確かな方法だからです。「Oakforest-PACS」のアーキテクチャをポスト「京」と同じにするという制約はありませんでしたが、結果的には同じ理由から「Oakforest-PACS」もメニーコア型になりました。つまりポスト「京」は、現在の「京」よりも「Oakforest-PACS」に近いわけです。言い換えれば、ポスト「京」に繋がる連続性があるということです。「Oakforest-PACS」は、将来のフラグシップマシンと両輪をなして、その役割を果たしながら、日本のHPCを牽引していかなければいけないと考えています。

──日本のHPCが、今後さらに発展していくために重要なことは何でしょうか。

中村　個人的には、HPCコミュニティをさらに広げていかなければいけないと考えています。現在、ポスト「京」に向けて9つの重点課題と4つの萌芽的課題が挙げられ、高度な成果創出に向けた取り組みが行われています。それはそれで重要なことであり、そこに多くの計算資源を投入することで成果が出れば、それに越したことはありません。ただ私としては、さらにHPCユーザーを拡大していくことも考えるべきと思っています。バイオ分野のビッグデータ解析などは、もはや約束されたユーザーといえますが、さらに社会科学の分野でも、HPCをどんどん活用してもらいたいですね。大きい計算ができれば、「こんな面白い解析結果が出るんだ」ということを、多くの研究者たちに気づいていただきたいのです。そうした新規分野開拓が、特に大学の計算センターには求められています。そうして、HPCコミュニティをもっと広げていくことが大切です。東京大学情報基盤センターは、大学の情報基盤センター群のなかでも中心的な役割を担っていますから、ポスト「京」に向けて日本を引っ張っていくだけでなく、HPCコミュニティ拡大に向けても、日本を引っ張っていくことが求められています。そのためには、多くの大学や研究機関、さらには産業界との連携を進めていくことや、ユーザーに役立つ資源を用意して最大限に活用してもらうことなどに、力を注いでいかなければいけないと考えています。「Oakforest-PACS」は、こうしたことを実現していくためにも重要なシステムになるはずです。これからの運用を通して優れた成果を生み出し、絶対に成功させたいと願っています。