Một hệ thống máy tính làm việc bình thường phải có hai tài nguyên lớn là phần cứng và phần mềm. Tài nguyên phần cứng có: bộ phận chính của máy, bộ phận lưu trữ (bộ nhớ), bàn phím, chuột, bộ phận hiển thị và các máy in (máy vẽ, micro phim). Các tài nguyên này sở dĩ có thể làm việc nhanh, có trình tự và hiệu quả cao, phục vụ tốt là vì chủ yếu bên trong nó có một “ông đại quản gia”. “Ông đại quản gia” này sẽ căn cứ vào các yêu cầu cụ thể của nhiệm vụ rồi đưa vào chương trình đã lập sẵn để điều phối và chỉ huy các loại tài nguyên trong máy tính, khiến chúng làm việc nhịp nhàng và trình tự. “Ông đại quản gia” này chính là hệ điều hành mà ta vẫn thường nhắc tới. Hệ điều hành là tập hợp chương trình dùng để điều khiển và quản lý tài nguyên hệ thống, tiện cho người sử dụng máy tính. Nó là một trong những bộ phận rất cơ bản của tài nguyên phần mềm. Tác dụng chủ yếu của nó là quản lý bộ xử lí trung tâm CPU, bộ nhớ chính RAM, thiết bị cứng nhập cứng xuất, văn kiện dữ liệu và mạng; người dùng máy cùng hưởng tài nguyên, và sử dụng hợp lí tài nguyên; trợ giúp sự tiện ích của phần cứng nhập và phần cứng xuất, đơn giản hóa công việc xuất nhập; quy định giao diện của người sử dụng, phát hiện và xử lý các sai sót.
Gần đây hệ điều hành được sử dụng khá nhiều là Widows, Unix v.v. Người dùng chỉ việc sử dụng chính xác các loại lệnh của hệ điều hành, điều khiển các chức năng của nó cho đúng thì chương trình ứng dụng mà người dùng máy lập ra sẽ có thể tự động vận hành một cách tuần tự và nhịp nhàng hệ thống máy dưới sự chỉ huy thống nhất của hệ điều hành. Bởi vậy, chúng ta coi hệ điều hành là người quản lý tài nguyên của hệ thống máy tính, vì nhiệm vụ chủ yếu của nó là quản lý và điều hành tài nguyên của hệ thống máy tính.
Hệ điều hành trong hệ thống máy tính có mối quan hệ với tài nguyên phần mềm và phần cứng. Ta có thể minh họa bằng lược đồ sau:
Từ sơ đồ này, ta thấy hệ điều hành là tầng phần mềm đầu tiên liền kề với tầng tài nguyên phần cứng, nó tiến hành mở rộng lần đầu đối với tài nguyên phần cứng, đồng thời nó còn là cơ sở cho phần mềm khác vận hành.