侵入テストベンダーを変更することは実用的で価値がありますか？
侵入テストを実行するために使用されるベンダーを代替することは、ベストプラクティスと見なされますか？たとえば、サードパーティの侵入テストを半年に1回実施することがポリシーである場合、ベンダーAが年の前半に侵入テストを実施し、ベンダーBが年の後半に別の侵入テストを実施することになります。
[編集]
理想的には、2つの信頼できるパートナーを交互に使用します。完璧な人や会社はないという考えです。とはいえ、これは実用的であり、2つの強固な関係を構築するために必要な時間/労力/お金を費やすことを正当化する利点があります。
多くの（たぶんほとんどでしょうか？）人々は、プロバイダーのローテーションをベストプラクティスと考えています。
私がよく聞く最も価値のある利点は、品質と価値を比較できることです。
また、あなたには創造的である余地があると思います。たとえば、アプリケーションの侵入テストを専門とする会社を1ラウンド、次にソーシャルエンジニアリングを専門とする会社を雇ったり、ラウンドごとに複数のプロバイダーを要求したり、あるいはそれらの組み合わせを採用したりします。
すべての場合において、実際の作業を実行する個人の名前とそれぞれのスキルセットに注意を払うことは、期待どおりの結果を確実に得るための鍵です（つまり、餌と切り替えの戦術を避け、高品質を提供する個人を追跡したい）。 。
@Tateの答えはローテーションの利点に関しては良いですが、別の重要なポイントを指摘します。
ローテーションの欠点は、プロバイダーがすでに構築しているコンテキストと知識の多くを失うことです。ビジネスコンテキスト、要件、カスタムルール、アプリの動作などに関する知識と、過去に経験した問題に対する歴史的な知識。回転する場合は、最初からやり直す必要があります。
もちろん、あなたが外部タイプのペンテスターしか持っていない場合は、たまにブラインドスキャンを行うためにやって来ますが、それでもとにかく彼らはあなたについての多くの知識を築いていません...しかし、なぜそれらに悩むのですか？あなたは、「パートナー」-あなたのビジネスを学び、それに従って働き、以前に起こった傾向、根本的な原因、そして繰り返される間違いを識別して-あなたと協力してそれらを修正する誰かとうまくいっているでしょう。しかし、6か月ごとにローテーションする場合、構築するのは困難です...
私はそれが、より良い、より効率的な作業に対するトレードオフ、検証（および独創性）だと思います（ただし、信頼する必要があります）。
PCI DSSおよびCIP CVAに直接反対するいくつかの完全に異なる引数を作成します。
私の最初の議論は、外部の侵入テスターを雇うことは愚かであるということです。ペネトレーションテストは、インフラストラクチャまたはイテレーションのデモ中に（つまり、QA /ステージング中に）発生する「バグハント」の日である必要があります。すべてのコンサルタント/請負業者/ QA-people/devs/managers/etcを含む全員が招待され、参加を許可されます。彼らはチーム（通常はペア）で一緒に作業する必要があり、チームは異なる精神を持つ必要があります（例：訓練済みと未訓練）。
私の2番目の議論は、「時折」1つのパートナー企業と協力するのは愚かであるということです。信頼できるアドバイザーを獲得するために努力するつもりなら、年に一度だけ彼らに従事する場合、または規制により必要とされる場合、彼らの時間とあなたの両方を浪費します。信頼を築く人々と常に連絡を取り合うことが重要です。
Appsecコンサルティング会社を雇って、彼らが毎日週にデスクにいなくても、従業員のように扱います。エンゲージメントを開始して、進捗状況を示す3年前になることを確認しながら、目標/目的と指標を設定します。
経験から、ローテーションが最適に機能するのはグローバルなエンタープライズ規模であると私は思います。パネルに3〜6のベンダー組織が継続的に働いているため、環境に関する長期的な知識を構築し、ローテーションすることができます。社内、社外、サードパーティなど、さまざまな分野で利用できますが、真の価値は、テストに関するメタデータを構築して、傾向を正規化して追跡できる場合にのみ得られます。
- ベンダーxは常に特定の問題をマイナーとして評価しますが、ベンダーyはそれを重大と評価します。
- テスターaは、テスターbよりもアプリのテスト結果に関する詳細情報を提供します。
- ベンダーzのスキルは劣っていましたが、他のものより速く改善しました。
ローテーションがないと、スキルの相互比較、価格の再交渉が困難になる可能性がありますが、作業方法、配信の期待、レポートスタイル、しきい値について、新しいベンダーに迅速に対応するための時間を予算に入れる必要があることに注意してください。等.
私はこれについて article を書いたところですが、これは常にクライアントにとってよくある質問のようです。両方の観点について、3つの考慮事項をまとめました。
代替ベンダーの理由：
1。自己満足アプリケーションセキュリティエンジニアは、開発者と同じように、作業の一部の側面を知らない場合があります。ソフトウェア開発者にとって、独自のバグを見つけることは非常に困難な場合があります。そのため、ピアコードレビューを実施し、単体テスト、手動および自動の品質保証テストなど、多数の品質保証管理を実施しています。
ペンテストベンダーに尋ねる必要がある質問の1つは、この問題を克服するために何をするかです。
2。品質と価値インテリジェンス他のベンダーを検討して、どの価格でどのサービスを提供しているかを理解することは価値があるかもしれません。さらに、すべての侵入テストプロバイダーが同じように作成されているわけではないため、1つのベンダーが脆弱性の特定に本当に優れている可能性がありますが、レポート後のサポートはそれほど優れていない可能性があります。
3。さまざまな専門知識を活用するさまざまな専門分野のさまざまなベンダーを調査する価値があるかもしれません。たとえば、あるベンダーは、ペンテストの実行には非常に強いが、ソーシャルエンジニアリングにはそれほど強くない可能性があります。したがって、さまざまなベンダーを強みのさまざまな分野に活用することは有益です。
切り替え前に検討する：
1。コンテキストとアプリケーションの知識を失う：ペンテストには、おそらく3つのレベルの深度があります。
レベル1：ぶら下がっている果物：これは基本的にスキャナーが見つけることができるものです。
レベル2：中距離の問題：スキャナーは検出できないがエンジニアは検出できるバグ、それらは依然として簡単に見つけることができます。それは、誰かがそれらを探す必要があり、十分に機敏なアプローチが必要です。
レベル3：難しいバグ：これらは、エンジニアがアプリケーションに精通して、それがどのように機能するかを正確に理解した場合にのみ検出されます。 2〜3週間の侵入テストでは、新しいベンダーがこのような短時間でレベル3に到達することは非常に困難です。アプリケーションの性質によっては、アプリケーションに多くのビジネスロジックがないため、レベル3は必要ない場合があります。考慮すべきもう1つのことは、主な脅威の実行者は誰かということです。あなたは主にスクリプトキディやプロのハッカーやサイバーギャングに反対していますか？
2。パートナー関係を失う：ペンテストサービスがビジネス、アプリケーション、およびチームのダイナミクスを理解するには時間がかかります。ペンテストプロバイダーとの連携は、レポートの配信で止まってはなりません。優れたペンテストプロバイダーは、本当に良いバグを特定でき、さらに重要なことに、それらのバグを軽減し、アプリケーションをさらに強化するのに役立ちます。現在のベンダーからその助けを得ていない場合は、そのベンダーと話し合うか、新しいベンダーを探すことは価値があるかもしれません。
3。動機を失う：プロフェッショナルサービススペースのほとんどの企業にとって、クライアントを維持するためにさらに1マイル進むことが最優先事項です（または少なくともそうする必要があります）。それが一時的な関係であることを最初から知っていても、そのベンダーがあなたのためにそれ以上のことをやる気にはならないかもしれません。ペンテストパートナーの選択には、いくつかの要素があります。とりわけ、スキル、履歴、価格、プロセスです。彼らと強固な関係を築き、最大の価値を得るには、コミュニケーション、信頼、透明性が必要です。