L2SWでリンクアグリゲーションしてみた

ストレージ容量も欲しいけれど、お金は掛けたくない。そういった要求から、データ単価の安い3.5インチHDDをソフトウェアRAIDで冗長化＋高速化し、消費電力の都合、メインPCとは別にファイルサーバとして一台組んで運用している人がたくさんいるかと思います。3.5インチって、何台も積むと消費電力がバカにならないんですよね。

RAIDを組むと、冗長性が上がるだけでなく、データアクセス速度も向上します。僕の場合は、3TBのHDDを6台、RAID6で組みましたが、ソフトウェアRAIDといえども、リード500MB/secくらいは出ます。また、メインPCはSSD8台でハードウェアRAIDを構成しているので、少なくとも1GB/secは出ます。

ここで問題となるのが、メインPCとファイルサーバ間のデータ転送です。今主流の1000BASE-Tイーサネット接続では、8b/10b符号化で、たかだか100MB/secほどの帯域しかありません。あまりに遅すぎる。そこで、その貧弱な経路を束ねることで高速化出来ないのか試したくなり、NETGEARのGS716TというL2SWを購入しました。

リンクアグリゲーションしたい

LANケーブルを束ねる方法はいくつかありますが、そのうちの一つがIEEE802.3adのリンクアグリゲーションです。特に動的リンクアグリゲーションでは、対応装置同士がLACPという言葉で勝手に話し合い、うまいこと経路を二重化してくれるそうです。ネットワーク機器がLACPに対応している必要がありますが、普通のハブは対応していないので、今回NETGEARの「GS716T」を新調しました。そういったいかにもネットワーク機器っぽい機能が付いているスイッチは、いずれも業務用で非常に高価なんだろうと思っていましたが、今回買ったNETGEARのスイッチは2万円ほど。業務用がウン十万ということを考えると格安です。

ラックマウントもできるよ

付属品です。普通の電源ケーブルと、謎の電源ケーブル（三相電源？）、ユーティリティCD、ゴム足とラックマウント用キットです。ラックマウント用キットの大きさから分かるように、普通にラックマウントするべき大きさのスイッチです。

今まで使っていたハブと

せっかくなので、今まで使っていたハブと一緒に撮ってみました。これもNETGEAR製で「GS108」というハブです。小さいけど無骨でなかなかカッコいいやつです。ただ8ポートはちょっと少ないなと感じていました。

楽しいような、面倒くさいような、設置作業

とりあえず設置してケーブルを繋ぎました。ファイルサーバとして組み立てたPCケースの上に乗っけます。フルサイズのPCケースにちょうど乗っかるくらいの大きさです。

設定は、WEBインタフェースで行います。CLIでの接続は出来ないようです。せっかくそれっぽい見た目なので残念。また、アクセス用の内部IPのデフォルト値は192.168.0.239なのですが、DHCPが使用できる環境では、自動的にDHCPでIPを取得するようになっており、どのIPが振られたか確認できるツールが、付属のユーティリティCDに入っています。ツールの使用にはAdobe Airが必要。一度WEBアクセスしちゃえば、スタティックIP触れるので、使うのは一度きりになりそうなツールです。リースされるIPの目処が立っているなら、そもそもインストールする必要すらないですね。

LACPで簡単に冗長化

さっそく、雰囲気でスイッチのリンクアグリゲーション設定をして、メインPCのINTEL NICチーミングを「IEEE 802.3ad 動的リンクアグリゲーション」、ファイルサーバ（CentOS）のbondをmode=4にしたところ、無事にアグリゲーションできたようです。リンク速度が2Gbpsになり、また、PCとファイルサーバを次のように接続しているのですが、

PC === L2SW === ファイルSV　※二重線は2本のLANケーブルを表します

装置間でファイル転送中に、それぞれの経路で片方のLANケーブルを抜いても、転送が異常終了することなく完了するのです。感動しました。

さて転送速度のほうですが

経路が冗長化されたことは分かったので、ファイルを転送してその速度を見てみました。といっても、厳密に測定したのではなく、sambaによる普通のWindows共有ファイルコピーと、FTPを使ったファイルコピーを同時に実行してみます。結果はご覧の通り、足して100MB/secくらいかな？　という具合になりました。この状態で、片方のファイル転送が完了すると、残ったもう片方が加速して100MB/secに近づくような形です。つまり、PCとファイルサーバ間のファイル転送は、結局普通のギガビットイーサネット接続と変わらないということです。

まあ、なんとなく予想はしていた結果です。おそらくもう1台PCを用意して、メインPCとサブPから同時にファイルサーバへアクセスした場合、ファイルサーバからの出力がそれぞれ100MB/secになる（こともある）のでしょう。事前にリンクアグリゲーションについて調べた時にも、「セッションごとの帯域は変わらない」とか、「1対1のサーバ間通信のような場合は広帯域化によるメリットなし」といった情報がポンポン出てきてはいたのですが、やってみなきゃわからないでしょということで今回やってみた次第です。セッションって言うから、1つのファイル転送セッションごとにロードバランスされたらラッキーくらいに思っていましたが、惨敗です。

10GbEスイッチが気軽に手に入るようになるのかな

そういうわけで、サーバ間の転送を速くしたい、という当初の目的を達成するなら、これから来るであろう10GbEで接続するのが一番簡単そうです。やはり10Gbのスイッチは恐ろしく高価なので、やるならPCとファイルサーバに10GbE NICを増設して、ポイントツーポイントで接続するのが良さそうです（→10GbEはじめました ASUS XG-C100C）。NICも高いですが、ヤフオクにSFP+付きで転がっているようですので、予算2～3万もあれば十分実現可能のようです。ドライバ周りはちょっとどうなんだろうと思いますが、多分行けるんでしょう。いずれやりたいと思います。

速度は別に速くなりませんでしたが、このL2SWはほかにもVALNに対応していたりするので、そんなに悪い買い物ではなかったかなと思います。ただちょっと、部屋に置くにはデカいかな。