CookieTsai 的手記: Through HTTP Protocol to Learn Web Request

注意事項：
    1. 本文內容主要為小編自己的學習路徑分享
    2. 在使用 Telnet 時須注意換行符號，建議純手動打勿複製貼上
    3. 文章中所使用到的網址可以任意更動

Catalog

Catalog
Abstract
Experiment

Abstract

近日小編在工作上遇到許多連線問題，經過一段時間的摸索意外讓小編學會了使用 Socket 來發送 HTTP Request，而後逐步的學會了使用 telnet 和 s_client 等工具來模擬長連結的 HTTP Request，也認識了網路中的各種連線原來都是利用 Socket 實現，本篇文章將透過一個小測試，來讓各位認識 Web 是如何與 Server 進行溝通請求。

關於 HTTP 的小知識

扣除早期 0.X 版的 HTTP 目前現行的 HTTP Protocol 多為 1.0 版及 1.1 版，最新版本為 2.0 版非目前主流（本篇內容不使用 2.0 版本），在 1.0 與 1.1 最大的差異在於短連結與長連結，1.0 版預設為短連結（Connection 預設為 close 1.1 則反之）

一個標準的 HTTP Protocol 大致分成 Head 與 Body 兩個部分，中間使用一個換行來進行分隔，範例如下：

POST /2016/06/extract-transform-load.html HTTP/1.1
Host: tsai-cookie.blogspot.tw
User-Agent: User Defient/1.0
Content-Type: text/plain; charset=utf-8

<.... Your Data ....>

紅：Method
綠：Path
藍：HTTP Version
橘：Head
紫：Body（許多地方文章稱為 Entity）

P.S 在實驗中，此 POST HTTP Request 伺服器並不支援，僅供參考用。

並不是所有 HTTP Request 都有 body 最常見的四種 GET, POST, DELETE 和 PUT 中，只有 POST 和 PUT 可以攜帶 Body，而沒有攜帶 Body 的 Request 就不用 Content-Type 和 Body，反之則需要。

無 Body 的 Request，範例如下：

GET /2016/06/extract-transform-load.html HTTP/1.1
Host: tsai-cookie.blogspot.tw
User-Agent: User Defient/1.0

Experiment

接下來小編將帶各位做一個簡單的實驗，利用 telnet 及 s_client 向 www.google.com.tw 發送一個手製的 HTTP Request，首先，我們需要一個完整的 HTTP Reuqest，內容如下：

GET / HTTP/1.1
Host: www.google.com.tw
User-Agent: CookieTsai
Connection: close

P.S Connection: close 目的為告訴 Server 做完後結束連線，如不要這行可以連續發送數次。

如您使用的作業系統為 Windows，想要做此實驗須先手動打開 telnet 或安裝 cygwin，本文未提供方法造成不便請見諒。

Telnet

於 命令提示字元 或 終端機 使用指令

$ telnet www.google.com.tw 80
Trying 64.233.187.94...
Connected to www.google.com.tw.
Escape character is '^]'.

進入後輸入 Request（紅色）並按下 Entry（按 1~2 次需產生一行空白行）即會收到 Server 回應（藍色）

內容如下：

GET / HTTP/1.1
Host: www.google.com.tw
User-Agent: CookieTsai
Connection: close

HTTP/1.1 200 OK
Date: Wed, 27 Jul 2016 11:24:19 GMT
Expires: -1
Cache-Control: private, max-age=0
Content-Type: text/html; charset=Big5
P3P: CP="This is not a P3P policy! See https://www.google.com/support/accounts/answer/151657?hl=en for more info."
Server: gws
X-XSS-Protection: 1; mode=block
X-Frame-Options: SAMEORIGIN
Set-Cookie: NID=83=xuZXlGKYIFhYU7tlUD9YzxAcNuOxvrFSNa191FEEdOxB0s8xpW3W-u8t4BQnURrmtGuDVbgAYzq6Ed9MtCwqPdfGndeJ6GieOpNkBF5qaztXmm5H3o5CQ-FukayW1fhH; expires=Thu, 26-Jan-2017 11:24:19 GMT; path=/; domain=.google.com.tw; HttpOnly
Accept-Ranges: none
Vary: Accept-Encoding
Transfer-Encoding: chunked

28ba...（略）

Openssl's s_client

既然使用 telnet 就可以發送了，為何需要使用 openssl 的 s_client 呢？

許多網站為了資訊安全會使用 HTTPS，這並不是指有一種 Protocol 是 HTTPS，而是一般的 HTTP Protocol + SSL，另一種說法是 HTTP Protocol 在傳送時加上 SSL 的加密方法。這時候單純的 telnet 無法提供 SSL 加解密，因此，要利用 openssl 提供的 s_client 來發送請球，內容大致如下。

於 命令提示字元 或 終端機 使用指令

$ openssl s_client -connect www.google.com.tw:443
CONNECTED(00000003)
depth=2 /C=US/O=GeoTrust Inc./CN=GeoTrust Global CA
verify error:num=20:unable to get local issuer certificate
verify return:0
---
Certificate chain
 0 s:/C=US/ST=California/L=Mountain View/O=Google Inc/CN=google.com
   i:/C=US/O=Google Inc/CN=Google Internet Authority G2
 1 s:/C=US/O=Google Inc/CN=Google Internet Authority G2
   i:/C=US/O=GeoTrust Inc./CN=GeoTrust Global CA
 2 s:/C=US/O=GeoTrust Inc./CN=GeoTrust Global CA
   i:/C=US/O=Equifax/OU=Equifax Secure Certificate Authority
---
Server certificate
-----BEGIN CERTIFICATE-----
MIIgHDCCHwSgAwIBAgIIEAtlXh5wxiwwDQYJKoZIhvcNAQELBQAwSTELMAkGA1UE
BhMCVVMxEzARBgNVBAoTCkdvb2dsZSBJbmMxJTAjBgNVBAMTHEdvb2dsZSBJbnRl
cm5ldCBBdXRob3JpdHkgRzIwHhcNMTYwNzEzMTMxNjMyWhcNMTYxMDA1MTMxNjAw
...
...（中間省略非常長）...
...
Q57MUEhLPbQnNPaP5KXQfMB+9GbXrCGwJzX+Uue0T99zo/UuKW1pJUDM8jDhgMP3
Io5fc9LqwWuWDARjvODD6L7ZefN192ovI41+3yJ6ImOUvPJR31M4ZqiMT2MSJ1NT
k2w8H4X3z0pLvtlRFyDoq5TwkU8r6QnBQFD/rC6tAqvx7WGLc2nRXy2bgcKItwC/
uO9p+m2wqZJPPCQOnE0m6A==
-----END CERTIFICATE-----
subject=/C=US/ST=California/L=Mountain View/O=Google Inc/CN=google.com
issuer=/C=US/O=Google Inc/CN=Google Internet Authority G2
---
No client certificate CA names sent
---
SSL handshake has read 10308 bytes and written 456 bytes
---
New, TLSv1/SSLv3, Cipher is AES128-SHA
Server public key is 2048 bit
Secure Renegotiation IS supported
Compression: NONE
Expansion: NONE
SSL-Session:
    Protocol  : TLSv1
    Cipher    : AES128-SHA
    Session-ID: 13F7455348699FFF98FB6D11865EDDAEB3F904D6AC727041CA4F3857A0E97226
    Session-ID-ctx:
    Master-Key: F74606075CAC3B709F39CA9F2C699FCEA892C16F5E58AF0EC453433F74B0E7F7FD10890168C19E8EEAB1727F5CD4A478
    Key-Arg   : None
    Start Time: 1469623117
    Timeout   : 300 (sec)
    Verify return code: 0 (ok)
---

進入後輸入 Request（紅色）並按下 Entry（按 1~2 次需產生一行空白行）即會收到 Server 回應（藍色）

內容如下：

GET / HTTP/1.1
Host: www.google.com.tw
User-Agent: CookieTsai
Connection: close

HTTP/1.1 200 OK
Date: Wed, 27 Jul 2016 12:39:25 GMT
Expires: -1
Cache-Control: private, max-age=0
Content-Type: text/html; charset=Big5
P3P: CP="This is not a P3P policy! See https://www.google.com/support/accounts/answer/151657?hl=en for more info."
Server: gws
X-XSS-Protection: 1; mode=block
X-Frame-Options: SAMEORIGIN
Set-Cookie: NID=83=kdPJl42ANhiQji2fmjEO4h9aOjwp6ZWcBvXIREOnOVYBfWlS7PMjwn1w8ZTlc_gUjbXvQvnMGkJkKnsZGLy7CcDVO0s40Q7mofOTY4t2Uvt_kVSD7KumameS8PYDvLtj; expires=Thu, 26-Jan-2017 12:39:25 GMT; path=/; domain=.google.com.tw; HttpOnly
Alternate-Protocol: 443:quic
Alt-Svc: quic=":443"; ma=2592000; v="36,35,34,33,32,31,30,29,28,27,26,25"
Accept-Ranges: none
Vary: Accept-Encoding
Connection: close

...（略）

CookieTsai 的手記

2016年7月27日星期三

Through HTTP Protocol to Learn Web Request

Catalog

Abstract

關於 HTTP 的小知識

Experiment

Telnet

Openssl's s_client

2 則留言:

2016年7月27日 星期三

Through HTTP Protocol to Learn Web Request

Catalog

Abstract

關於 HTTP 的小知識

Experiment

Telnet

Openssl's s_client

2 則留言:

2016年7月27日星期三