Googleグループからすべてのメッセージをダウンロードする
私はGoogleアプリの移行/アーカイブシステムを開発中です。開発のこの時点で、ドメインユーザーが作成したすべてのグループのすべてのメッセージをダウンロードする方法を考え出そうとしています。転送フィルターを設定してすべてのメッセージを電子メールにアーカイブできることは知っていますが、これは古いメッセージには役立ちません。
Googleグループからこれらのメッセージをダウンロードする方法はありますか？もしそうなら、ユーザーが作成したすべてのグループのリストを取得するためにadmin APIにありますか？
#bashを使用してもかまわない場合は、私が作成したツールを試してみてください。
https://github.com/icy/google-group-crawler
Googleグループからすべてのmboxファイルをダウンロードできます。 Cookieファイルがある場合は、プライベートGoogleグループからすべてのファイルをダウンロードすることもできます。 および/またはすべての元の電子メールを表示するには。また、RSSフィードを読み取ったり、最新の投稿を取得したりすることもできます。これはデイリーミラーに役立ちます。
結果の例はここにあります http://l.archlinuxvn.org/archlinuxvn/ 。 MHonArchは、mboxファイルをHTML形式に変換するために使用されます。
最終的には、gdata pythonライブラリを使用して、すべてのグループとそれぞれのURLのリストを取得しました。そこから、Seleniumを使用して、メッセージとすべての返信のグループをスクレイプしました。おそらく最善ではありません。解決策ですが、それは私が必要とするもののために機能します。
Seleniumとhtmlunitを使用して簡単なスクラップユーティリティを作成しました。使用できます。あまり最適化されておらず、小グループのメッセージのみをダウンロードするのに役立ちます（最大7000メッセージ）。