Es gibt einen Server, der auf einem Rechner mit monochrom (z.B. im CIP-Pool die meisten Sparc-2s), greyscale (Sparc-10 und HP) oder Farbmonitor (Indigos) mit bitmap-Display läuft. Dieser Server verteilt Benutzereingaben wie z.B. Tastatureingaben oder Mausbewegung an die verschiedenen Clients, das sind alle Programme mit grafischer Ein- oder Ausgabe. Diese wiederum können dem Server Anforderungen schicken, z.B. Text oder Grafik auf dem Display darzustellen. Die clients müssen dabei nicht auf demselben Rechner laufen wie der Server, sondern auf irgendeinem Rechner im Netzwerk, theoretisch überall auf der Welt und eben auch auf Rechnern anderer Architektur oder mit anderen Betriebssystemen. Der Normalfall sollte natürlich sein, seine clients lokal zu starten. Informationen über die Fähigkeiten des verwendeten Servers erhält man mit xdpyinfo.
Die Schnittstelle zwischen Server und clients ist die Xlib. Dies ist eine Sammlung von C-Subroutinen über die man direkt mit dem Server kommunizieren kann. Im CIP-Pool im 2.Stock liegen ein Xlib Reference Manual und eine Einführung in die Programmierung.
Meistens wird man jedoch nicht auf dieser low-level Schnittstelle programmieren, sondern auf höheren Ebenen, die z.B. von "X Toolkit Intrinsics" oder OSF Motif sowie XView geboten werden. Silicon Graphics unterstützt zusätzlich eine Graphics Library (GL), die direkt auf der Hardware operiert und damit wesentlich höhere Verarbeitungsgeschwingigkeiten erreicht als X. Die Ausgabe kann aber wegen des direkten Hardwarezugriffs nicht mehr über das Netz erfolgen. Theoretische Grundlagen und Kenntnisse in der Programmierung mit einigen dieser tools können im Graphischen Praktikum des IMMD IX erworben werden (ab 5.Semester Informatik).