ボタンがモーダルまたはポップアップを開くことをユーザーに知らせるアイコン
ページ上のリンクが外部リンクを指す場合は、外部リンクアイコンを使用します
参照： リンクまたはボタンが新しいタブまたはウィンドウで開くことと、その方法をユーザーに伝える必要がありますか？
リンク/ボタンがポップアップを開くことをユーザーに示す標準のアイコンはありますか？
これは非常に適切で必要なことだと思います。
EDIT：これは標準的なものですか？ https://icons8.com/icon/14932/open-in-popup
私はこの質問に少し引き裂かれました。あなたが提案するようなアイコンでユーザーの明確な期待を設定したいような気がします。それでも、これが問題を探す解決策であるかどうか疑問に思わずにはいられません。
ユーザーがリンク/ボタンをクリックしてモーダルを取得したときに、ユーザーが混乱しているか驚いたかどうかを調べるために、ユーザーの行動を調査しましたか？
ユーザーが課題を抱えている場合、私はさらに尋ねることから始めます：
- ユーザーがクリックしたときのユーザーの期待は何でしたか？
- インタラクションまたはビジュアルデザインに混乱を引き起こす何かがありますか？例：
- ウィンドウは、ユーザーがスクロールしたページの上部に表示されますか？
- モーダルとそれが重ね合わされたページの間に十分な「シャドウ」がありませんか？
- モーダル動作は、彼らが望む他のことをすることを妨げますか？例：
- 彼らは前のページの情報と比較して、今ではモーダルによって非表示にしたいと思っていましたか？
- 2つの異なるモーダルで利用可能な情報が必要でしたか？
そこから、このモーダルがこの状況に適切なツールであるかどうかを尋ねます。
これについての考えについては、 Nielsen Norman Group の記事をご覧になることをお勧めします。
これは実際にはウィンドウまたは新しいウィンドウについて話しますが、ポップアップにも使用できると思います 
ポップアップは通常、より大きなパターンの実装です-「モーダルダイアログ」はさまざまな方法で実装でき、必ずしもユーザーが理解する「ポップアップ」ではないので、実装ですが、代わりに「これはポップアップを開く」の代わりに「これにはさらにアクションが必要です」という考えがあります。
Windows UXガイドライン がEllipsis（…）の後に必要な追加のアクションがある場合に使用すると言うのは興味深いアクション（ポップアップ、ダイアログ、確認）であり、アクション自体では明確ではありません。
コマンドボタンは即時アクションに使用されますが、アクションを実行するにはさらに情報が必要になる場合があります。ボタンラベルの最後に省略記号を追加して、追加情報（確認を含む）が必要なコマンドを示します。
...
これは、アクションを実行するために追加情報が必要な場合にのみ、アクションが別のウィンドウを表示するときは常に省略記号を使用する必要があることを意味しません。その結果、暗黙の動詞が「別のウィンドウを表示する」であるコマンドボタンは、[About]、[Advanced]、[Help]（またはヘルプトピックにリンクする他のコマンド）、[Options]、[Properties]、または[Settings]などの省略記号を使用しません。 。
だから、たぶん、ある種の省略記号：ボタンのラベルまたはアイコンの中。
もちろん、ナビゲーションの方法としてではなく、モーダルダイアログとしてポップアップを使用する場合です。
UPD：結局のところ、それは Appleのヒューマンインターフェイスガイドライン の一部でもあります。