『Yahoo! JAPAN』のコンテンツ入出稿を支えるファーウェイの『OceanStor 5500 V3』ストレージシステム

180km離れた2拠点間でアクティブ-アクティブのリアルタイム同期を実現

ショッピング、ニュース、動画、天気、地図など、100を超える膨大なサービスやコンテンツを提供する日本最大のポータルサイト『Yahoo! JAPAN』。その運営を担うヤフー株式会社では、出店者やメディアなどが提供するサービスコンテンツを、ヤフーと情報提供元で相互にやりとりするシステムを2拠点に構築し、冗長性を確保しながら運用しています。2017年12月、同社はファーウェイの『OceanStor 5500 V3』を導入してシステムを刷新。同製品のHyperMetro機能によるアクティブ-アクティブソリューションで180km離れた拠点間のリアルタイム同期を実現し、事業継続性を強化しました。
同システムの運用責任者であるヤフー株式会社　テクノロジーグループ　システム統括本部　サイトオペレーション本部　インフラ技術1部　部長　井上龍太郎氏と、その構築をリードしたインフラ技術2部　ハードウェア担当　沼田晃希氏に、システム刷新の経緯とファーウェイ製品への評価をおうかがいしました。

入出稿ファイルは1日20万件以上
5分おきの同期ではサービス継続に限界

ヤフーでは、『Yahoo! JAPAN』の多種多様なサービスで提供するコンテンツのデータをショッピングの出店者やニュースの提供元などのコンテンツプロバイダーから受領するほか、出店者向けの売上データなどを外部に提供しています。データの入出稿にはFTPSプロトコルを使用。1日の入稿データは平均3～4MBほどのファイルが約16万8,000件、出稿データは2MB前後のファイルが約6万件にのぼり、1日あたり600～700GBのデータが24時間365日やりとりされています。

これまで同社では、DR（ディザスタリカバリー）対策として東西に2つのデータセンターを構築してレプリケーションを実施し、rsyncプログラムにより5分おきの同期を行っていました。このシステムは同社にとってメインの入出稿プラットフォームで、ニュースや災害情報、ショッピングの商品や在庫の情報など、常時更新が必要なデータを数多く扱っています。そのため、システムの不具合やファームウェア、証明書の更新などの作業が発生する際には、即座に拠点間で切り替えを行い、サービスの継続性を確保しなければなりません。しかし、5分おきの同期ではデータを完全に一致させられず、システムを止めることなく両拠点の差分を最小限に抑えるためにはきわめて煩雑なプロセスが必要となっていました。

「同期の完了を待たないと切り替えができず、同期中にも新しいデータが入ってきてしまいます。100％同じ状態にはできないので、ある程度は切り捨てざるをえず、アップロードしたはずのファイルが消えてしまったという問い合わせが出るなど、サービスに影響が出ていました。拠点の切り替えはなるべくやりたくないというのが本心でした」（井上氏）

対策を検討していた矢先、クラスタの破損による大規模なトラブルが発生。このままではだめだ、とストレージシステム全体の刷新に取りかかりました。

ヤフー株式会社 テクノロジーグループ システム統括本部 サイトオペレーション本部 インフラ技術1部 部長 井上龍太郎氏

前例のないチャレンジ
事前の検証で信頼性を確信

新システムの構築にあたり、一番の要件はアクティブ-アクティブ構成でリアルタイムの拠点間同期ができることでした。しかし、東西拠点間は約180km離れた場所に位置しており、この距離でリアルタイム同期を実現できる製品は限られていました。

「長年ストレージを扱ってきましたが、ストレージのレイヤーで180kmで同期を取るなんて、正直無理だろうと、当初はかなり腰が引けていましたね」（沼田氏）

当時ヤフーは別の案件でもストレージのリプレースを検討しており、信頼性の高いストレージ製品を探す過程で、ファーウェイの『OceanStor 5500 V3』の検証を進めていました。そこでIPによるデータ同期用リンクを構成できる同製品のHyperMetro機能に目をつけ、これで長距離の同期を実現できないだろうかとファーウェイ側に打診しました。

「最初の検証ではディスクやコントローラーを物理的に破壊する障害試験なども実施させてもらい、データが破損しないことを確認していました。そこまでテストさせてくれるのは、製品に自信があるからでしょう。信頼できる製品であることは確信していました」（沼田氏）

ヤフーではすでにファーウェイのサーバー導入でも多数の実績があり、その経験からも品質と信頼性に重きを置いたメーカーであることは実感していたといいます。

とはいえ、ストレージの導入は初めてで、しかも180kmのリアルタイム同期という前例のないチャレンジです。ヤフーとファーウェイはその後、半年間かけて集中的に検証を実施。ヤフー側でファーウェイのエンジニアが参加してテストを行うとともに、中国・深圳のファーウェイ本社でもまったく同じ環境を構築して検証を進め、両社で結果を照合しながら課題を1つずつクリアしていきました。

ヤフー株式会社 テクノロジーグループ システム統括本部 サイトオペレーション本部 インフラ技術2部 ハードウェア担当 沼田晃希氏

「他社の拠点間同期ソリューションも検討しましたが、距離が100kmまでだったり、必要なコンポーネントが増えたりといったことがネックでした。シンプルな仕組みで動くという点も、要件面や検証結果とあわせて評価ポイントとなりました」（沼田氏）

『OceanStor 5500 V3』のHyperMetroソリューションにより、180kmの拠点間同期を実現した『Yahoo! JAPAN』の入出稿システム用ストレージ

チームで課題解決
要望にも柔軟に対応

初導入の製品でこれまでにない新機能を実現するシステムを構築する今回のプロジェクトは、ヤフーにとってきわめてハードルの高いものでした。その過程では、製品の信頼性と性能に加え、本社と緊密に連携しながらチーム一丸となって課題解決に取り組むファーウェイの姿勢にも助けられたと沼田氏はいいます。

「問題があると、日本の担当者と本社のエンジニアがすぐに一緒に考えてくれるのはとてもありがたかったです。こちらから要望を伝えると、プロジェクト化して改善を図り、実装してくれる。他社ではなかなかここまでの対応はしてもらえません」（沼田氏）

FTP以外のプロトコルにも対応させるなど、サービス側の利便性を高める機能を追加するといった課題はあるものの、「入出稿システムのインフラとしてはこれで完成したといってもいい」と井上氏。沼田氏も「信頼性は長期的に判断すべきものですが、少なくとも1年間の検証と導入して半年間の実績からは、『OceanStor』はトップクラスの高信頼性ストレージだと考えています」と評価してくださいました。

今回のシステムの構築や運用に携わったサイトオペレーション本部メンバーの皆さん。
後列左から、Nyam Amarbayasgalan氏、沼田氏、井上氏、平山祐資氏、大村昂氏、前列左からヤフー公式キャラクターの『けんさくとえんじん』

HUAWEI OceanStor5500 V3 製品概要