IPsec（IP security）は、共通鍵暗号化方式を利用して、IPパケットを暗号化するためのプロトコルである。IPsecでは、認証・暗号化・署名の3つの機能を提供して、IPプロトコルを使用するすべての通信を保護できる（アプリケーション層・トランスポート層のプロトコルには依存しない）。
| 機能 | アルゴリズム |
| 認証 | 仮共有キー、証明書、Kerberos |
| 暗号化 | なし、DES、3DES |
| ハッシュ（署名用） | MD5、SHA1 |
・WindowsではWindows 2000以降でサポートされている。
・他の標準はVPNにそっくりのコンポーネントを揃えた単一の標準を画一的に提供することが多い。
・一方、IPsecは多くの選択肢を提供するフレームワークだと考えるのが最もふさわしいだろう。事実、それがIPsecの最大の強み（柔軟性など）であり、最大の弱点（複雑性など）にもなっている。
1：まず、通信相手の認証をした後、相互に暗号アルゴリズムと使用する鍵を交換する。ただし、あらかじめこれらの情報を手動でコンピュータに設定しておくことも可能である。それらを元に暗号通信を行う。鍵交換プロトコルとして、IPsecではIKEというプロトコルが一般的に利用される。
2：さらに、得られたデータが本物の通信相手からのものかを確認するために、認証を行う。これはセキュリティ技術を実現するために、IPsecでは次の2つのプロトコルのいずれかが利用される。どのヘッダを利用するかによって、IPsecが提供するセキュリティ機能が異なる。
ESPとAHの2つは、パケット認証の範囲が異なる。AHではパケット全体、ESPは先頭のIPヘッダは認証されない。よって、強力な認証が必要なら、ESPとAHを組み合わせればよい。
上の手順で説明したのはメインモードである。アグレッシブモードの場合は、少ないメッセージのやり取りでISAKMP SAを確立する。メインモードはIDペイロードが暗号化されて送信されますが、アグレッシブモードではIDペイロードが平文のまま送られるので、セキュリティ強度が弱い。
IPsec SAは、一定の時間の経過、あるいは一定量のパケットの処理を行うと消失する。これは鍵を変えることで、たとえ鍵が外部に漏洩しても、被害を最小限に抑えるために必要な処理になっている。リキーの処理では、IPsec SAが消失する前に、別のIPsec SA確立するために、切断されることなく通信が行えるわけである。
次にリキーの手順を示しす。
1：フェーズ２が終了して、IPsec SAが生成される。
2：一定期間が経過して、SAの寿命が近づくと、次のSA生成を開始する。
3：SA1が寿命を向かえ、消失するとSA2が自動的に通信を引き継ぐ。
ESP（カプセル化セキュリティペイロード）は、ネゴシエートしたアルゴリズムでデータ暗号化する。
・ICVチェックサムはESPヘッダと暗号化されたデータをカバーする。
・ESPはIPヘッダの暗号化やチェックサムは提供する。
・Windows 2000のIPSecは56ビットDESと3-DES（164ビットのトリプルDES）をサポートする。
・ESPオプションデータの整合性のためにSHA-1とMD5がサポートされている。
AH（認証ヘッダ）にはデータグラム全体の暗号チェックサムが含まれる。
AHはIPsecデータグラムに元々あるIPヘッダの後ろに挿入される。AHは、データの整合性および再生に対する保護を提供する。受信者は64ビットのカウンタを使用してデータグラムを解析するのである。
| 次ヘッダ | 元の第4層ヘッダのプロトコル番号 |
| ペイロード長 | AHの長さ |
| SPI（セキュリティパラメータインデックス） | AH接続を同じ宛先への他の接続と区別するための32ビットシリアル番号 |
| シーケンス番号 | 再生に対する保護を提供するAHデータグラムのシリアル番号 |
| ICV（整合性チェック値） | AHデータグラムの暗号化された整合性チェックサム |
・AHはデータの機密性は必要ないが、ホスト認証とデータの整合性が必要とされるような場合に適している。
・Windows 2000の実装では、AHで使用するためにSHA-1とMD5の両方の暗号チェックサムが提供される。
SHA-1チェックサムのほうがMD5チェックサムより優れていると考えられているため、SHA-1のほうがよく使用される。
IPsecは次に示す3つの重要なVPNの問題を扱う。
IPsecは認証ヘッダ（AU：Authentication Header）を定義している。元のIPデータパケットにAHを追加することによって、次の機能を付加することができる。
自分が通信している相手が本当に自分が考えている相手かどうかを知る必要があるとき、認証が必要となる。
例えば、ネットワークに入ってくるパケットが本当に協業会社から送られてきたのであり、アタッカーが侵入しようとしているのでないことを確認したければ、ファイアウォールでパケットを認証するとよいだろう。
相手が受信したメッセージが自分が送信したメッセージと同じであり、送信の途中で不正な変更を受けなかったことを確認したい場合がある。供給会社に送信した注文書の製品番号が不正に変更されてしまうだけでも、取り引きが台無しになってしまうだろう。
例えば、アラスカ州の新しいオフィスのための室内暖房機を注文したつもりが、代わりに冷房装置が届いてしまうかもしれない。
同じメッセージが重複して届いたとしても、迷惑な程度で住むこともあるが、電子商取り引きの場合は被害がもっとも大きくなることがある。
例えば、顧客の一人が100本の金槌の注文を送信してきたとする。アタッカーがそのメッセージのコピーを保持して、数日間に渡って、慎重に間隔をあけながら、そのコピーを100回送信してくるかもしれない。営業担当者は祝賀会を開いてもらえると期待するかもしれないが、いい気分でいられるのも、たくさんの金槌を受け取った顧客が怒って電話をかけてくるまでの間である。
リプレイ攻撃を防止するには、シーケンス番号を使用して、以前に同じパケットを受け取ったことがあるかどうかを判断して、重複したパケットを破棄すればよい。
事実上はAHの機能だけで十分な場合もありますが、プライバシーも問題になるのであれば、IPsecのESP（Encapsulation Security Payload）コンポーネントを使用しなければならない。パケットを公衆のネットワークに送り出す前に、IPパケットに加えられたESPヘッダで指示されたESP関数を用いて、元のメッセージの内容を暗号化する。IPsecの使用はどの暗号化アルゴリズムを使用すべきかを厳格に支持しているわけではない。その代わり、送信者と受信者がトンネルをセットアップするときに、DESやトリプルDESなどの中から選択して互いに合意できるようにしている。
暗号法は通信を暗号化もしくは解読するための鍵を送信者と受信者があらかじめ決めて知っているということを前提にしている。ところで、送信者と受信者はプライバシーと認証のために使用する暗号化アルゴリズムや、暗号化と解読に使用する鍵、その鍵を変更する頻度、および他のIPsecの選択肢をどのようにして決めればよいのだろうか？ また、全体のプロセスを素早く始動させるに当たって、これらの暗号に関する詳細情報を安全でない通信経路を介してどうやって送信すればよいかという挑戦的な課題もある。
もちろん、これらの情報を全てネットワークの外で相手に渡すこともできる。市場に出回っている初期のIPsecの製品は大抵このような手段を元にしていた。この方法の利点は、ベンダーにとって作成するのが容易なことと、複雑さが減少するために他のVPN製品と相互に接続しやすくなることである。
ここで、ISAKMP（Internet Security Association and Key Management Protocol）の助けを借りて、鍵管理の機能を自動化するとよいだろう。ISAKMPは高水準のIPsecと同じように、セキュリティアソシエーション（SA）を確立するための様々な方法を定めた仕様のフレームワークである。仕様によれば、ISAKMPは認証と鍵交換のためのフレームワークを提示するが、それら自身を定義するものではない。ISAKMPは様々な鍵交換プロトコルで使用できるようになっている。
IPsecを利用して、通信を行う際、双方のVPNゲートウェイの間でコネクションが確立することにより、パケットのやり取りが可能になる。このIPsecのコネクションが、SA（Security Association）である。このSAが確立して初めてIPsecによる通信ができる。このSAを特にIPsec SAと呼ぶ。
SAは一方向のコネクションなので、2つのゲートウェイ同士で送受信する場合は、合計2つのコネクションが必要である。
VPNゲートウェイ同士でIPsecのパケットをやり取りする際に、そのパケットがSAに属しているのかということが重要である。これを識別するための情報がSPIである。SPIは32ビットのIDで、受信側のVPNゲートウェイが決めることになっている。
・2つのホストが安全な接続を確立するには、まず相互に認証する必要がある。また、接続で使用する暗号方式もネゴシエートしなければならない。このため、ホストはこの接続に対してそれぞれひとつまたは複数のSA（セキュリティアソシエーション）を確立する。
・SAはIPSec接続の一意識別子である。
・AHとESPは同じSAを共有することができない。
・2つのホスト間の典型的な双方向通信では2つのSA（各ホストにひとつずつ）が必要である。
・Windows 2000は、IKEプロトコルを使用して必要なSAを確立する。
SAは次の3つの属性の組み合わせによって一意に識別される。
Windows 2000では、IPSecホスト認証として3つの方式を利用できる。
Windows 2000にはIPsec機能がデフォルトで実装されている。
1：コントロールパネルから、「ネットワークとダイヤルアップ接続」をダブルクリックする。
2：「ローカルエリア接続」をダブルクリックする。
3：「ローカルエリア接続状態」ダイアログで、[プロパティ]ボタンをクリックする。
4：「ローカル接続のプロパティ」ダイアログで「インターネットプロトコル（TCP/IP）」を選択して、[プロパティ]ボタンをクリックする。
5：「インターネットプロトコル（TCP/IP）のプロパティ」ダイアログの[詳細設定]ボタンをクリックする。
6：「TCP/IP詳細設定」ダイアログの「オプションタブ」をクリックする。
7：「IPセキュリティ」を選択して、[プロパティ]ボタンをクリックする。
8：「IPセキュリティ」ダイアログから「次のIPセキュリティポリシーを使う」をチェックして、「サーバー（セキュリティが必要）」を選択して、[OK]ボタンをクリックする。
9：これでIPsec機能が有効になった。それでは、IPSecの通信が実現されているかどうかを確認してみる。そのためには、IPセキュリティモニタを利用する。
「スタート」メニュー＞「ファイル名を指定して実行」を選択して、「ipsecmon.exe」と入力して起動する。セキュリティアソシエーションに、IPSecによる通信状態が表示されるはずだ。
1：「スタート」メニュー「ファイル名を指定して実行」を選択して、「MMC」と入力して[OK]をクリックする。すると、次のような「コンソール」ダイアログが表示される。
2：メニューの「ファイル」＞「スナップインの追加と削除」を選択する。すると、次のように表示される。
3：「スナップインの追加と削除」ダイアログの[追加]ボタンをクリックする。すると、「スタンドアロン スナップインの追加」ダイアログが表示される。
4：「IPセキュリティポリシーの管理」を選択して、[追加]ボタンをクリックする。
5：そして、「コンピュータまたはドメインの選択」ダイアログで、「ローカルコンピュータ」というラジオボタンを選択して、[完了]ボタンを押す。
6：うまくいけば、スナップインが追加されているはずだ。
