2017年夏の稼働を目指して開発が進む
東工大の次世代スパコン「TSUBAME3.0」

　東京工業大学学術国際情報センターが開発・運用するスーパーコンピュータ「TSUBAME」は、いち早くアクセラレータとしてGPUを採用して高速化を実現、世界で初めてGPUスパコンとして「TOP500」の上位にランキングされたことで知られます（2008年「TSUBAME1.2」）。また、スパコンの電力使用効率ランキング「Green500」でも世界一に輝くなど、省電力でも優れた実績を挙げています。現在は2010年に運用を開始した「TSUBAME2.0」のGPUをバージョンアップ（2013年）した「TSUBAME2.5」が稼働していますが、今年の夏、これに加えて新たに「TSUBAME3.0」が稼働する予定です。「最先端の技術チャレンジを実現したい」と語る東京工業大学学術国際情報センターの松岡 聡教授に、「TSUBAME3.0」の概要について、お話をうかがいました。

最新GPUを2,160個搭載する「TSUBAME3.0」

──今夏の稼働に向けて、現在、開発・構築が進められている新スーパーコンピュータ「TSUBAME3.0」はどのようなシステムなのですか。

松岡（敬称略）　特徴はいろいろありますが、まず1つ目は、最新GPU（Graphics Processing Unit）アクセラレータの搭載による計算性能の向上です。「TSUBAME」1号機が稼働を開始したのは2006年ですが、その後の研究開発で共通するテーマとなっているのが、加速器（アクセラレータ）としてGPUを活用することによる計算の高速化です。今ではGPUの使用はごく一般的になっていますが、かつては、画像処理に使われていたプロセッサをCPUと組み合わせてスーパーコンピュータに搭載するなどということは、誰もやっていませんでした。この“発想の転換”ともいえる「混合ハイブリッド・アーキテクチャ」を実現したのが「TSUBAME」です。「TSUBAME1.2」に「Tesla」を搭載し、「TSUBAME2.0」では「Fermi」を全面的に採用し、さらに「TSUBAME2.5」では「Kepler」にアップグレードするという形で、NVIDIA社製の最新GPUをいち早く採用しながらスーパーコンピュータの開発を進めてきました。今回の「TSUBAME3.0」でも、こうした流れを踏襲し、GPUを使って大幅な計算速度の向上を目指します。

搭載するGPUはNVIDIA社の第4世代となる「Pascal GPU」です。これをIntel社「Xeon CPU」と組み合わせています。チップの数でいうと、CPUが1,080個であるのに対してGPUはその倍の2,160個になります。「TSUBAME2.5」ではチップ数の比率は2対3でしたが、今回はGPUの比率を増やすことにより、さらなる性能向上を図っています。「TSUBAME3.0」の理論性能は12.15PFLOPS(倍精度 64bit)で、「京」を上回り、国内では東京大学・筑波大学の「Oakforest-PACS」に次ぐ性能です。また、「TSUBAME3.0」の運用が開始されれば、現在の「TSUBAME2.5」および「TSUBAME-KFC」(スーパーコンピュータ省電力化の実証実験施設)と合わせて、センター全体で総数6,720個ものGPUが稼働することになります。

──GPUマシンは、汎用性の面で課題が残るともいわれているようですが。

松岡　ユーザーのなかには、自分でプログラミングをせずに、オープンソースソフトウェアやパッケージソフトウェアを使う人も非常に多いわけです。こうしたグローバルスタンダードなソフトウェアのGPU対応が追い付いていないことが課題になっています。しかし、近年、こうしたソフトウェアのGPU対応は急速に進んでおり、GPUマシンを利用するユーザー数もどんどん増えています。もちろん、GPUを使えばすべてのアプリケーションが何倍も速くなるというわけではなく、得意・不得意があります。マジックのように何でも速くなるわけではありません。それは最近のCPUも同様です。要するに、アプリケーションに応じて適材適所で両方を使い分ける必要があります。そのため「TSUBAME3.0」では、主にGPUを使いたいユーザー、主にCPUを使いたいユーザー、両方とも使いたいユーザー、それぞれがうまく共存できるように、使う比率を柔軟に変えられるようにする予定です。すでに「TSUBAME2.5」でもノード内のGPUとCPUを分割して提供するメニューを用意していますが、さらに進化させることを予定しています。そうすることにより、計算資源をより有効に活用することが可能になります。

世界トップクラスの電力使用効率を実現

──2つ目の特徴は、何ですか。

松岡　よりグリーンなシステムであるということ、つまり電力使用効率に優れているということです。これは、アクセラレータを使うことによる計算性能の向上とともに、学術国際情報センターの長年の研究テーマのひとつでもあります。その成果は「TSUBAME2.0」で実を結び、「TSUBAME-KFC」でより進化し、「TSUBAME3.0」ではさらなる高度化を図り、世界最高峰の電力使用効率を目指しています。省電力を実現させるためには、計算による消費電力をできるだけ少なくすることに加えて、いかに効率よくシステムを冷却するかがポイントです。「TSUBAME3.0」では、その両方を極限まで追求しています。実際の消費電力で比較すると、計測ではGPUはCPUの約2倍程度かかりますが、プログラミングの工夫や新たなアルゴリズムで並列度を高めることにより、性能はCPUの5倍から10倍に高めることが可能で、その分電力使用効率は向上します。とはいえ、いくら効率がよくても熱は出ます。その熱をいかにして冷やすかが大きな課題です。「TSUBAME2.5」では、水温十数℃の冷却水を使用していますが、冷蔵庫に電気が必要なのと同様に、冷たい水をつくるためには、その分エネルギーが必要です。では、冷却するためのエネルギーをできるだけ少なくするにはどうすればよいでしょうか。私たちは、自然の冷却機能を利用することに着目しました。みなさんは、水冷と聞くと非常に冷たい水を使うことを想像すると思いますが、スーパーコンピュータの高性能チップの温度は50～60℃にまで上昇します。そこまで高温になると、外気温程度の水温でも十分な冷却効果が得られます。特別な冷却装置を使わなくても、屋外の冷却塔で外気に曝したり、さらに気化熱を利用するなどの方法（温水冷却）で、エネルギーをほとんど使わなくてもシステムの冷却が可能であることを、私たちは「TSUBAME-KFC」で実証してきました。外気温が30℃を超えるような夏場でも、最小限のエネルギーでシステムを効果的に冷却するにはどうすればよいか。そうしたハードルを1つひとつクリアしながら、できる限り冷却効率のよい仕組みを考案し、「TSUBAME3.0」に採用して、冷却効率の指標の1つであるPUE（Power Usage Effectiveness）で世界トップクラスの1.033という極めて高い効率を達成することができました。

──スーパーコンピュータを幅広い分野に活用していくための新たな取り組みにも力を入れていると聞いています。

松岡　シミュレーションなどの科学技術計算だけでなく、近年需要が増大している人工知能（AI）やビッグデータを扱うデータサイエンス分野のサポートを大幅に拡充している点が、3つ目の特徴です。一般に科学技術計算では、64bitの倍精度が多く用いられますが、32bitの単精度でも計算可能な対象が数多くあります。半精度はさらにその半分の16bitで有効な桁数は減りますが、それでもAIやビッグデータ分野では十分な精度が得られ、その分メモリのバンド幅を節約できることから、最近は、どちらかというと単精度・半精度が主流になりつつあります。将来的には、倍精度はほとんど要らなくなるのではないかと思っています。「京」が開発されたころは、単精度や半精度で使うことは全く考えられていませんでしたが、精度を落とせば扱うデータ量が減り、その分計算は速くなりますから、システムにとってはありがたいわけです。ポスト「京」開発では、こうした単精度や半精度で計算速度を高めることも考慮されますが、「TSUBAME3.0」はそれを先取りしているわけです。単精度での理論性能は24.3PFLOPS、半精度では47.2PFLOPSとなり、「TSUBAME2.5」と併せて運用すれば、半精度で64.3PFLOPSの計算資源を提供することが可能になり、学術国際情報センターはまさに国内最大の情報基盤センターになります。もちろん精度だけではなく、例えば局所的に大きなデータを高速に扱うためのローカルメモリなど、「TSUBAME3.0」には、AIやビッグデータ分野の研究をサポートするためのハードやソフトのさまざまな機能が搭載されています。日本ではまだ数少ないコンテナ技術（システム内に複数の動作環境を構築する技術）をスーパーコンピュータで実現する取り組みなども取り入れています。もちろん、シミュレーションなどのこれまでの科学技術計算をないがしろにしているわけではなく、研究分野の裾野をさらに広げるために新たな機能を追加し、AIやビッグデータ分野の計算も高速で処理できるようにしています。特に産業界ではこの分野に関心が高いので、今後、大いに利用が進むと考えています。

「TSUBAME3.0」は最先端技術チャレンジの結晶

──「TSUBAME3.0」の開発は、まさに最先端の技術チャレンジでもあったと思いますが、最もご苦労されたのはどんな点でしょうか。

松岡　すべてが最先端技術チャレンジでした。チップそのものはできているわけですが、ネットワーク周りや高密度実装など、先進性の高いハードウェアの構築に苦労しました。クルマに例えれば、エンジンがどんなに優れていても、それだけで速くなるわけではありませんよね。タイヤやサスペンション、車体の空気抵抗など、総合的な性能の高さと完成度が求められるわけです。さらにそれを乗りこなすドライバーも必要です。スーパーコンピュータも同じで、最新GPUの計算パワーを最大限に活かすためには、全てに渡ってきちんと設計されていなければ、その能力を十分に発揮することはできません。例えば、2,000個以上のGPUが全てフラットにつながっているようなネットワーク構造も「TSUBAME3.0」のとてもユニークな特徴の1つで、こうした設計を行っているシステムはほかにはありません。また、ドライバーであるソフトウェアや制御技術も重要です。こうしたことを考えながら緻密な設計を行うわけですが、それを具体化するためには、ベンダーに設計コンセプトをしっかり理解してもらい、実際に開発してもらわなければなりません。設計コンセプトができたのは2年以上前ですが、技術的な課題を乗り越えて製品化にいたるまでには、長い時間が必要でした。また、高密度実装や効率的な冷却を実現するためのベンダーのチャレンジもたいへんだったと思います。

──開発にあたって、「京」を上回る理論性能を実現することは、目標の1つだったのでしょうか。

松岡　特に目標ということではありません。ただ、10～20PFLOPSなければ情報基盤センターとしてとても需要に追いつきませんし、世界的に見て、1位は無理としても、せめてトップ10～20位には入っておくことは重要だと思っています。ユーザーが研究する際に劣勢にならない、研究面で世界と競争ができる環境を用意するためには、「TSUBAME2.5」と併せて20PFLOPSくらいの性能は必要だということです。もう1つ付け加えておくと、私たちのセンターは、設計にしても運用面においても、システムの中身を全てオープンにしていくことを基本的なポリシーとしています。ホームページで「TSUBAME」のページを開くと、1つひとつの計算ノードがどういう状態かまで、ユーザーのプライバシーを侵害しない範囲で全て公開しており、外部から誰でも見られるようになっています。公開しているだけでなく、技術研究などに利用するための運用データの提供などにも応じています。その意味では、世界一情報公開しているセンターであると自負しています。システムを活用してユーザーが研究成果を達成することも重要ですが、私たちにとっては、計算機科学の進展に寄与することも大切なミッションであり、これらを両立させていくことが求められていると考えています。単にシステムを運用するだけでなく、計算機科学の研究を推進し、世界に向けて情報発信し、次世代のシステム開発に貢献したり、パートナーシップを組んだりという取り組みは、パブリックな情報基盤センターにしかできない重要な役割であると思っています。

産業界のHPC利用促進にも貢献したい

──この先、GPUコンピューティングは、どのように進化していくのでしょうか。

松岡　先ほどお話ししたように、今後はGPUもCPUと何ら変わりなく、得意・不得意を考えながら効果的に使い分けされるようになるでしょう。もはやGPUを使うか、使わないかを議論する時代は終わりつつあります。米国でもスーパーコンピュータの半分ほどはGPUベースのメニーコア型ですし、オークリッジ国立研究所でも、次期スーパーコンピュータにGPUを採用することを発表しています。

ただし、将来もこのまま進むのかといわれると、難しいでしょうね。数年後、ちょうどポスト「京」が完成するころには、多分「TSUBAME」も4号機ができるはずですが、そのころまでは現在の流れの進化形が実現していることでしょう。AIやビッグデータ分野の需要がさらに高まり、全般的にマシンのアーキテクチャやソフトウェアがそうした方向に引っ張られていく可能性が高いと思っています。私たちもそこはしっかり見ていて、ベンダーとも話をしながら研究を進めており、次の世代がどんなものになるのかは、大体分かっています。細かい工夫はいろいろと加わりますが、基本的には現在の加速化の進化形をイメージしています。ただ、その先、2025年以降はというと、メニーコアや加速化のような今のままの考え方で性能を伸ばしていくのは難しくなります。では、10年後はどうするのか。研究レベルではいろいろと考え始めています。プロセッサの大きな性能の進化が期待できなくなる一方で、メモリ技術や光技術はさらなる相対的な進化が期待できるので、そちらを伸ばしていくというのも1つの考え方です。

──最後に、HPCIへの貢献についてどのようにお考えか、お聞かせください。

松岡　先ほどもお話ししたように、東京工業大学学術国際情報センターはパブリックな施設ですから、計算科学・計算機科学の両分野において公的な立場で研究を推進していくことにより、最先端の成果を生み出していくことが重要なミッションです。そのために幅広い研究を進めるとともに、国内だけでなく国際的にも多くの機関と連携し、HPCIを活用した高い成果に結び付け、その成果を世の中に役立てていくことが重要と考えています。もう1つ、HPC利用の裾野を広げていくことも、私たちの役割だと思っています。近年、産業界のHPC需要が非常に増えています。日本は基本的にマニュファクチャリングの国であり、科学技術計算は新たな価値を生み出していく上で欠かせないものとなっています。シミュレーションだけでなく、今後はAI・ビッグデータ分野の需要も高まるはずです。もちろん各企業のサービスセンターになることは考えていませんが、全く使ったことがない企業がいきなりスーパーコンピュータを使うのは無理ですから、ブートストラップを支援したり、大学の研究者と企業を結び付けて研究開発のお手伝いをすることなどによって、産業界のHPC利用を促進していくことが、今後ますます重要になっていくと考えています。さらにもう1つ、国民の安全・安心にとっても、HPCは重要な役割を果たすようになっています。HPCを活用した自然災害における防災・減災の研究、創薬をはじめとする医療や健康分野の研究、さらに近年は衛星画像を解析して農業や物流に利用する研究も始まっています。こうした直接的に世の中に役立ち、安全・安心に寄与するIT基盤技術の推進に貢献することも求められていると思っています。