プログラムでC＃を使用してWebサイトにログインする

Question

そのため、C＃を使用してプログラムでWebサイトにログインする方法の詳細を学ぶために、Webを精査してきました。 Webクライアントを使用したくありません。 HttpWebRequestやHttpWebResponseのようなものを使用したいと思いますが、これらのクラスがどのように機能するのかわかりません。

ユーザー名とパスワードをフォームに入力する必要があるWordPress、メールアカウント、またはサイトにログインするために必要な手順と手順を説明してくれる人を探していると思います。

これが私の試みの1つです。

// Declare variables
        string url = textBoxGetSource.Text;
        string username = textBoxUsername.Text;
        string password = PasswordBoxPassword.Password;

        // Values for site login fields - username and password html ID's
        string loginUsernameID = textBoxUsernameID.Text;
        string loginPasswordID = textBoxPasswordID.Text;
        string loginSubmitID = textBoxSubmitID.Text;

        // Connection parameters
        string method = "POST";
        string contentType = @"application/x-www-form-urlencoded";
        string loginString = loginUsernameID + "=" + username + "&" + loginPasswordID + "=" + password + "&" + loginSubmitID;
        CookieContainer cookieJar = new CookieContainer();
        HttpWebRequest request;

        request = (HttpWebRequest)WebRequest.Create(url);
        request.CookieContainer = cookieJar;
        request.Method = method;
        request.ContentType = contentType;
        request.KeepAlive = true;
        using (Stream requestStream = request.GetRequestStream())
        using (StreamWriter writer = new StreamWriter(requestStream))
        {
            writer.Write(loginString, username, password);
        }

        using (var responseStream = request.GetResponse().GetResponseStream())
        using (var reader = new StreamReader(responseStream))
        {
            var result = reader.ReadToEnd();
            Console.WriteLine(result);
            richTextBoxSource.AppendText(result);
        }

        MessageBox.Show("Successfully logged in.");

私が正しい軌道に乗っているかどうかわかりません。最終的には、どのサイトのログイン画面にも戻ります。私はFiddlerをダウンロードし、サーバーに送信される情報について少し情報を収集することができましたが、完全に迷っています。ここで誰かが光を放つことができれば、私はそれを大いに感謝します。

Answer 1

プログラムによるウェブサイトへのログインは難しく、サイトがログイン手順を実装する方法と密接に結びついています。コードが機能しないのは、リクエスト/レスポンスでこれを処理していないためです。

fif.com を例にとってみましょう。ユーザー名とパスワードを入力すると、次の投稿リクエストが送信されます。

POST https://fif.com/login?task=user.login HTTP/1.1
Host: fif.com
Connection: keep-alive
Content-Length: 114
Cache-Control: max-age=0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Origin: https://fif.com
User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.103 Safari/537.36
Content-Type: application/x-www-form-urlencoded
Referer: https://fif.com/login?return=...==
Accept-Encoding: gzip,deflate
Accept-Language: en-US,en;q=0.8
Cookie: 34f8f7f621b2b411508c0fd39b2adbb2=gnsbq7hcm3c02aa4sb11h5c87f171mh3; __utma=175527093.69718440.1410315941.1410315941.1410315941.1; __utmb=175527093.12.10.1410315941; __utmc=175527093; __utmz=175527093.1410315941.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utmv=175527093.|1=RegisteredUsers=Yes=1

username=...&password=...&return=aHR0cHM6Ly9maWYuY29tLw%3D%3D&9a9bd5b68a7a9e5c3b06ccd9b946ebf9=1

Cookie（特に最初のセッショントークン）に注意してください。暗号化されたURLエンコードされた戻り値が送信されていることに注意してください。これらが欠落していることにサーバーが気づいた場合、ログインできません。

HTTP/1.1 400 Bad Request

さらに悪いことに、内部にエラーメッセージが埋め込まれたログインページの200応答。

しかし、それらすべての魔法の値を収集してHttpWebRequestオブジェクトに渡すことができたとしましょう。サイトは違いを知らないでしょう。そして、それはこのようなもので応答するかもしれません。

HTTP/1.1 303 See other
Server: nginx
Date: Wed, 10 Sep 2014 02:29:09 GMT
Content-Type: text/html; charset=utf-8
Transfer-Encoding: chunked
Connection: keep-alive
Location: https://fif.com/

あなたがそれを期待していたと思います。しかし、ここまで行った場合は、検証されたセッショントークンを使用してサーバーへのリクエストをプログラムで起動し、期待されるHTMLを取得することができます。

GET https://fif.com/ HTTP/1.1
Host: fif.com
Connection: keep-alive
Cache-Control: max-age=0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.103 Safari/537.36
Referer: https://fif.com/login?return=aHR0cHM6Ly9maWYuY29tLw==
Accept-Encoding: gzip,deflate
Accept-Language: en-US,en;q=0.8
Cookie: 34f8f7f621b2b411508c0fd39b2adbb2=gnsbq7hcm3c02aa4sb11h5c87f171mh3; __utma=175527093.69718440.1410315941.1410315941.1410315941.1; __utmb=175527093.12.10.1410315941; __utmc=175527093; __utmz=175527093.1410315941.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utmv=175527093.|1=RegisteredUsers=Yes=1

そして、これはすべてfif.comの場合です。Cookieとトークンのこのジャグリングとリダイレクトは、別のサイトではまったく異なります。私の経験（特にそのサイト）では、ログインウォールを通過するための3つのオプションがあります。

1. 信じられないほど複雑で壊れやすいスクリプトを記述して、サイトの手順を踊ります
2. ブラウザでサイトに手動でログインし、マジック値を取得して、リクエストオブジェクトにプラグインするか、
3. 自動化するスクリプトを作成 Selenium これを行うには。

Seleniumはすべてのジャグリングを処理でき、最後にCookieを引き出して、通常どおりリクエストを発行できます。 fifの例を次に示します。

//Run Selenium
ChromeDriver cd = new ChromeDriver(@"chromedriver_win32");
cd.Url = @"https://fif.com/login";
cd.Navigate();
IWebElement e = cd.FindElementById("username");
e.SendKeys("...");
e = cd.FindElementById("password");
e.SendKeys("...");
e = cd.FindElementByXPath(@"//*[@id=""main""]/div/div/div[2]/table/tbody/tr/td[1]/div/form/fieldset/table/tbody/tr[6]/td/button");
e.Click();

//Get the cookies
foreach(OpenQA.Selenium.Cookie c in cd.Manage().Cookies.AllCookies)
{
    string name = c.Name;
    string value = c.Value;
    cc.Add(new System.Net.Cookie(name,value,c.Path,c.Domain));
}

//Fire off the request
HttpWebRequest hwr = (HttpWebRequest) HttpWebRequest.Create("https://fif.com/components/com_fif/tools/capacity/values/");
hwr.CookieContainer = cc;
hwr.Method = "POST";
hwr.ContentType = "application/x-www-form-urlencoded";
StreamWriter swr = new StreamWriter(hwr.GetRequestStream());
swr.Write("feeds=35");
swr.Close();

WebResponse wr = hwr.GetResponse();
string s = new System.IO.StreamReader(wr.GetResponseStream()).ReadToEnd();

Answer 2

チェックアウト this 投稿。これは別の方法であり、Seleniumの方が簡単かもしれませんが、パッケージをインストールする必要はありません。

"POST（GETの代わりに HTTP動詞 現在DownloadStringで使用している）に引き続きWebClientを使用できますが、 （わずかに）下位レベルのクラスWebRequestおよびWebResponseを使用する方が簡単です。

これには2つの部分があります。1つ目はログインフォームを投稿すること、2つ目は「Set-cookie」ヘッダーを復元し、GETリクエストとともに「Cookie」としてサーバーに送り返すことです。サーバーはこのCookieを使用して、これからあなたを識別します（ページが「PHPSESSID」を含むSet-Cookieヘッダーを返すため、Cookieベースの認証を使用しているとかなり確信しています）。

---

ログインフォームへの投稿

フォームの投稿は簡単にシミュレートできます。これは、投稿データを次のようにフォーマットする場合にすぎません。

field1=value1&field2=value2

WebRequestとコードを使用して、私は Scott Hanselman から改造しましたPOST form data to your login form：

string formUrl = "http://www.mmoinn.com/index.do?PageModule=UsersAction&Action=UsersLogin";

注：これはフォームのPOST先のURLであり、フォームのURLではありません（これはHTMLフォームの「action」属性にあります鬼ごっこ

string formParams = string.Format("email_address={0}&password={1}", "your email", "your password");
string cookieHeader;
WebRequest req = WebRequest.Create(formUrl);
req.ContentType = "application/x-www-form-urlencoded";
req.Method = "POST";
byte[] bytes = Encoding.ASCII.GetBytes(formParams);
req.ContentLength = bytes.Length;
using (Stream os = req.GetRequestStream())
{
    os.Write(bytes, 0, bytes.Length);
}
WebResponse resp = req.GetResponse();
cookieHeader = resp.Headers["Set-cookie"];

ログインフォームのSet-cookieヘッダーに表示される例を次に示します。

PHPSESSID=c4812cffcf2c45e0357a5a93c137642e; path=/; domain=.mmoinn.com,wowmine_referer=directenter; path=/;

domain = .mmoinn.com、lang = en; path = /; domain = .mmoinn.com、adt_usertype = other、adt_Host =-

---

ログインフォームの背後にあるページを取得する

これで、ログインする必要があるページに対してGETリクエストを実行できます。

string pageSource;
string getUrl = "the url of the page behind the login";
WebRequest getRequest = WebRequest.Create(getUrl);
getRequest.Headers.Add("Cookie", cookieHeader);
WebResponse getResponse = getRequest.GetResponse();
using (StreamReader sr = new StreamReader(getResponse.GetResponseStream()))
{
    pageSource = sr.ReadToEnd();
}

編集：

最初のPOSTの結果を表示する必要がある場合は、返されたHTMLを復元できます。

using (StreamReader sr = new StreamReader(resp.GetResponseStream()))
{
    pageSource = sr.ReadToEnd();
}

これをcookieHeader = resp.Headers["Set-cookie"];のすぐ下に配置し、pageSourceに保持されている文字列を調べます。」