オーナーズアソシエーションの別のメンバーと一緒に、私はアパートの建物のために、共有の高速インターネットアクセスを設計および設定する任務を負っています。予算はほとんどなく、ハードウェアがすでに手元にある状態でこれを実行できることを望んでいます(つまり、最先端ではありません)。
私はシステム管理者として10年以上の経験がありますが、サーバー側に焦点を当てています。 (ほとんどの)用語に精通しているわけではなく、小規模なネットワークのセットアップで少なくともある程度の実務経験がありますが、そのようなセットアップの設計は間違いなく私の主な能力の範囲外です。
私はこれをどのように達成するかについての考えを持っていますが、おそらくすべてを考慮に入れていません。セカンドオピニオンとサニティチェックは確かに歓迎されています。
この質問は私の特定の課題に基づいていますが、その答えは、かなり共有され、セグメント化された、マルチテナントのインターネットアクセスを厳しい予算で設定するための一般的に適切なアプローチを形成すると思います。これがこのサイトに受け入れられることを願っています。
これはどのように行うのが最善ですか?
範囲
環境
- 既存のCAT5eケーブルを備えた54のアパート
- アパートはおよそ50/50を2つのパッチルームに分割し、間に1本のCAT5eケーブルを配置します(後で別のケーブルを追加する場合があります)
- 最初は300Mbpsに制限されていたファイバーベースのインターネット接続は、1つのパッチルームで終了します
- インターネットルーターへの管理アクセスなし
ハードウェアとソフトウェア
すべてのハードウェアは少なくとも5年前のものです。少し前に私たちが購入したものもあれば、その会社の生産用途(高価なサービス、パフォーマンスなど)には古すぎるために私たちに渡されたものもあります。
- HP Proliant DL380 G6、デュアルXeon CPU、32 GB RAM、4ギガビットNIC
- 2 x Dell PowerConnect5324ギガビットマネージドスイッチ
- 2 x HP ProCurve2524が管理する100Mビットスイッチ
- 既存の知識と経験により、ゲートウェイ/ファイアウォールとしてのpfSenseが推奨されます
- 管理性(スナップショット、フルイメージバックアップ、ハードウェアアブストラクション)、および追加のキットを必要とせずに小さなWebサーバーを実行できる可能性があるため、VMWareESXiでファイアウォール仮想を実行することをお勧めします。
要件と目標
- 私たちは、私たちが支払うインターネット帯域幅を集合的に利用できなければなりません
- 将来的にはより高い帯域幅をサポートできるようにしたいと考えています
- 100 Mbpsスイッチであるため、HPからDellスイッチへの少なくとも2つのアップリンクをトランク/チーム化できる必要があります
- アパート間でのアクセスは禁止されています
- IPアドレスはDHCPによってアパートに配布する必要があります
- Webサーバーとメールサーバーも実行します。これらは内部と外部の両方からアクセスできる必要があります。
- 明らかに欠けているものはありますか?
大まかなデザインのアイデア
物理ネットワーク
- 各パッチルームにDellギガビットスイッチをインストールします
- パッチルーム間を通る1本のケーブルで、2つのDellスイッチを接続します
- リンクアグリゲーションを使用して、HP 100Mbitスイッチを2つのアップリンクで各Dellスイッチに接続します
- すべてのサーバーNICをギガビットポートに接続し、将来使用するためにいくつかの追加のギガビットポートを予約します
- できるだけ多くのアパートメントを利用可能なギガビットポートに接続し、残りは100メガビットポートに接続します
LANセットアップ
- アパートごとにVLAN
- タグなしの個々のVLANを各アパートメントスイッチポートに割り当てます
- (集約された)アップリンクポートでタグ付けされた必要なVLANを割り当てます
- アップリンクでタグ付けされたすべてのアパートメントVLANをサーバーに割り当てますNIC for "Apartments LAN"
- サーバーへのアップリンクでタグなしのデフォルトVLAN(ID 0)を割り当てますNIC for "Administrative LAN"
サーバ
- 1台の物理サーバーを専用にしますNIC「アパートメントLAN」用、1台は「管理LAN」用、1台は「WAN」用、もう1台は「DMZ」用
- VMWare ESXiをインストールし、「アパートLAN」物理NICにリンクされた各アパートの仮想NICを作成します(VLAN IDを使用))。
- 「WAN」サーバーNICをインターネットルーターに接続します
- ルーティングを処理するようにpfSenseをインストールして構成し、すべてのアパートメントvNICを追加します。
質問
- 私たちのアイデアはあなたのサニティチェックに合格していますか?デザインに明らかな欠陥や落とし穴はありますか?
- 仮想化された実行中のpfSenseから300Mbps以上のルーティングを期待するのは合理的ですか?
- 2つの異なるブランドのスイッチをリンクするためにどのような種類のリンクアグリゲーションを使用できますか/使用する必要があります-できればフォールトトレランスとn x 100Mbpsアップリンクの両方を提供します
- VLANは、リンクアグリゲーションを介して、VMWareに渡され、さまざまなブランドのスイッチ間でタグ付きとタグなしを組み合わせて、期待どおりに機能することを期待できますか?
- 提案された設計を考えると、ルーティングを処理してアクセスを許可する方法がよくわかりませんが、(セットアップを管理している)選択されたアパートから管理VLAN全体像これはマイナーなことです。
編集:私たちが最終的に得たもの
無線封止で申し訳ありませんが、ネットワークを希望どおりにセットアップするのにかなり苦労しました。それは実際のPITAであり、さまざまな種類のスイッチ間で各スイッチポートの分離を設定しようとしました。
私たちが入手したDellスイッチの特定のモデルは、プライベートVLANをサポートしなかった数少ないモデルの1つでした。代わりに、古い48ポートのAllied Telesisスイッチを取得しましたが、「プライベート」ポートは相互に通信できませんでしたが、各ポートは必要な管理ネットワークから分離されていませんでした。 HPの「ポート分離」機能は宣伝どおりに機能しましたが、十分なポートがありませんでした。
少し努力した後、1 x48ポートと2x24ポートのCiscoCatalyst 2950を手に入れることができました。それぞれに2ギガビットのアップリンクポートがあり、残りは100メガビットです。なんという違いがあったのでしょう。同じ機能のさまざまなベンダーバリアントを連携させることに煩わされる必要はもうありません。
PfSense仮想をいくつかの低強度VMとともに実行し、サーバーが混乱することなく300Mbpsを簡単にルーティングできます。
要約すると、これは私たちが目標を達成するために行ったことであり、現在実行していることです。これが誰かに役立つことを願っています。入力ありがとうございます!
物理ネットワーク
- サーバーおよびインターネットと同じ部屋にある48ポートスイッチ-テナントへの1つのギガビットアップリンクNICサーバー内、もう1つは他の部屋の24ポートスイッチ
- もう一方の部屋にある2つの24ポートスイッチ間のギガビットアップリンク
- サーバー内の管理者NICに接続された100Mビットポート
- サーバー内のWAN NICに接続されているインターネットルーター
スイッチ構成
- 同じインターフェイスからすべてのデバイスを設定するために使用される無料のCiscoNetworkAssistantソフトウェア。強くお勧めします!
- VLAN1は管理ネットワークに指定されました
- 各テナントポートに設定された保護ポート(分離)とポートセキュリティ(ポートごとの制限付きMACアドレス)
- スイッチはスタックではなくイーサネットでリンクされているため、「保護ポート」はスイッチ間で効果がありません。つまり、1つのスイッチのテナントポートは、他のスイッチのすべてのテナントポートと通信できます。これを回避するために、スイッチごとに個別のテナントVLAN(スイッチのIPアドレスの4番目のオクテットに一致するVLAN ID)を作成しました。
- トランキングを有効にするための、「Smartports」で構成されたスイッチ間のアップリンク用のポート。ネイティブVLAN 1に設定され、他のすべてのVLANを許可(タグ付き)
- スイッチAでは、サーバーへのテナントアップリンクNICテナントを実行するように構成されていますVLANネイティブ、VLAN BおよびCタグ付き)
pfSense(およびLittle VMWare)構成
- WAN、管理LAN、テナントLANサーバーNIC用の個別のvSwitch(VMWare)セットアップ
- テナントvSwitch(VMWare)がVLAN ID 0(なし)から4095(すべて)に変更されました
- PfSenseで割り当てられ、それに応じてラベル付けされたインターフェース(WAN、管理者、テナント)
- 2つのVLANがテナントNICに追加され、IDはテナントVLAN BおよびC(VLAN Aはすでにタグなしで実行されている))-これで3つのテナントインターフェイスができましたpfSenseで
- ファイアウォールルールの管理を簡素化するために、3つのテナントインターフェイスのインターフェイスグループが追加されました
これは、私の質問に関連する構成とほぼ同じです。また、リモート管理アクセス用のOpenVPN、Windows PCからの自動構成バックアップを追加し、DMZインターフェイスを追加し、今では非常に強力な6インターフェイスファイアウォール/ルーターを微調整して改善し続けています! :-)
- 私たちのアイデアはあなたのサニティチェックに合格しますか?
ESXiを実際に知る必要のない54個の追加NICで混乱させるのではなく、pfSenseでVLANインターフェイスを処理することを検討します(個人的な好み)。
アドレス指定については何も言及していませんが、RFC1918プライベートアドレスを使用していると仮定して(完全に制御できるように)、アドレス指定が意味をなすようにしてください。個人的には、VLANタグがサブネットと一致することを確認したいと思います。この場合、次のようにします。
10.0.0.0/24 => Admin
10.1.101.0/24 => Apartment 1 (VLAN 101)
10.1.102.0/24 => Apartment 2 (VLAN 102)
...
10.1.154.0/24 => Apartment 54 (VLAN 154)
アパート1にはVLAN 1)を使用したくないので、VLANに100を追加しました。また、アパートのVLANをクリーンにルーティングできるように、管理者とアパートのサブネットを別々の/ 16に保持しました。 (単一のCIDRで)将来、必要に応じて個別に。
テナントが欲しいアパート間のトラフィックがある場合、どのように処理しますか? (たとえば、私は隣人と本当に良い友達であり、私のNASと彼/彼女とビデオを共有したい)。これは、ポリシーの質問ほど技術的な質問ではありません。 。
PfSenseには多くのNICがあり、それらの間をルーティングできないことを確認する必要があります。私は何年もpfSenseを使用していませんが、原則として、デフォルトのDENYポリシーを設定する必要があります。これにより、ポリシーが常に適用されていることを手動で確認しなくても、AptXがトラフィックをAptYにルーティングするのを防ぐことができます。次に、個々のALLOWポリシーを作成して、インターネット接続を介してのみ各ポリシーを適用できるようにします。
- 仮想化された実行中のpfSenseから300Mbps以上のルーティングを期待するのは合理的ですか?
ギガビットNICを使用しているのになぜだかわかりません。仮想化はそれほど多くのオーバーヘッドを追加しません。
- 2つの異なるブランドのスイッチをリンクするためにどのような種類のリンクアグリゲーションを使用できますか/使用する必要があります-フォールトトレランスと100 Mbpsアップリンクのn倍の両方を提供することが望ましい
LACP。
- VLANは、リンクアグリゲーションを介して、VMWareに渡され、さまざまなブランドのスイッチ間でタグ付きとタグなしを組み合わせて、期待どおりに機能することを期待できますか?
802.1qは「標準」です...スイッチの古さによっては、802.1qがまだファイナライズされているときに設計された場合、「奇妙な」ことをする可能性がありますが、かなり安全なはずです。
- 提案された設計を考えると、(セットアップを管理している人の)選択されたアパートから管理VLANへのルーティングを処理し、アクセスを許可する方法がよくわかりません)、しかし全体像ではこれはマイナーなことです。
デフォルトの拒否ポリシーはこれを防止するため、許可するには明示的なALLOWを追加する必要があります。