TCP/IP協議并不完全符合OSI的七層參考模型。傳統的開放式系統互連參考模型，是一種通信協議的7層抽象的參考模型,其中每一層執行某一特定任務。該模型的目的是使各種硬件在相同的層次上相互通信。這7層是:物理層、數據鏈路層、網絡層、傳輸層、會話層、表示層和應用層。而TCP/IP通訊協議采用了4層的層級結構，每一層都呼叫它的下一層所提供的網絡來完成自己的需求。這4層分別為：
　　應用層：應用程序間溝通的層，如簡單電子郵件傳輸（SMTP）、文件傳輸協議（FTP）、網絡遠程訪問協議（Telnet）等。
　　傳輸層：在此層中，它提供了節點間的數據傳送服務，如傳輸控制協議（TCP）、用戶數據報協議（UDP）等，TCP和UDP給數據包加入傳輸數據并把它傳輸到下一層中，這一層負責傳送數據，并且確定數據已被送達并接收。
　　互連網絡層：負責提供基本的數據封包傳送功能，讓每一塊數據包都能夠到達目的主機（但不檢查是否被正確接收），如網際協議（IP）。
　　網絡接口層：對實際的網絡媒體的管理，定義如何使用實際網絡（如Ethernet、Serial Line等）來傳送數據。

TCP/IP通常被認為是一個四層協議系統，TCP/IP協議族是一組不同的協議組合在一起構成的協議族。盡管通常稱該協議族為TCP/IP，但TCP和IP只是其中的兩種協議而已，如表1所示。每一層負責不同的功能：
TCP/IP層描述 主要協議 主要功能
應用層 Http、Telnet、FTP和e-mail等 負責把數據傳輸到傳輸層或接收從傳輸層返回的數據
傳輸層 TCP和UDP 主要為兩臺主機上的應用程序提供端到端的通信，TCP為兩臺主機提供高可靠性的數據通信。它所做的工作包括把應用程序交給它的數據分成合適的小塊交給下面的網絡層，確認接收到的分組，設置發送最后確認分組的超時時鐘等。UDP則為應用層提供一種非常簡單的服務。它只是把稱作數據報的分組從一臺主機發送到另一臺主機，但并不保證該數據報能到達另一端。
網絡層 ICMP、IP 和 IGMP 有時也稱作互聯網層，主要為數據包選擇路由，其中IP是TCP/IP協議族中最為核心的協議。所有的TCP、UDP、ICMP及IGMP數據都以IP數據報格式傳輸
鏈路層 ARP 、RARP和設備驅動程序及接口卡 發送時將IP包作為幀發送；接收時把接收到的位組裝成幀；提供鏈路管理；錯誤檢測等