Para instalar el sistema gráfico, es decir el Xorg, instalé estos paquetes:

xserver-xorg : El sistema grafico en sí. xinit : El inicializador del sistema grafico xterm : Una terminal de las X

$ aptitude install xserver-xorg xinit xterm

Para probarlas simplemente usamos el comando xinit y nos saldrá la xterm con el ratón y todo.