Rein Lizenztechnisch darfst du nur auf einem PC Windows XP installieren.
Aber eine Windows XP Lizenz kostet ja heute nix mehr, schau dich mal im Internet nach einer weiteren Lizenz um.
Linux kannst du natürlich auch einsetzten, sofern du nicht davor zurückschreckst bei Problemen mal eine Doku zu lesen. Mit etwas Einarbeitungszeit lässt sich eine GNU/Linux Installation für alles nutzen.
Was meinst du denn mit "Root Server"?
Ich gehe mal schwer davon aus, dass du keinen Top Level Root Server betreiben willst um DNS Anfragen zu verarbeiten
Grüße
Christian