Μετά από την εγκατάστασή του στην Ελλάδα, συμμετείχε σε διάφορα μουσικά συγκροτήματα αρχίζοντας με τους The Idolsσε ηλικία 17 χρόνων. Αργότερα πήγε με τους We Five χωρίς ιδιαίτερη επιτυχία. Στο ευρύτερο ακροατήριο έγινε γνωστός το 1968 με το συγκρότημα Aphrodite’s Child.

Το διακριτικό φωνητικό του ύφος προώθησε το συγκρότημα σε διεθνή επιτυχία, ιδιαίτερα με τη συμμετοχή του στον δίσκο 666, ο οποίος έγινε κλασική επιτυχία.

Μετά από τη διάλυση των Aphrodite’s Child, συνέχισε διάφορες σποραδικές ηχογραφήσεις. Από τη συνεργασία του με τον άλλο διάσημο φίλο του, τον Βαγγέλη Παπαθανασίου, κυκλοφόρησαν το 1970 τον δίσκο Sex Power, και το 1977 το Magic. Η επιτυχέστερη συνεργασία τους ήταν το Race to the End, μια φωνητική προσαρμογή του μουσικού θέματος από το βραβευμένο με Oscar Οι Δρόμοι της Φωτιάς, που κυκλοφόρησε και στα ισπανικά με τον τίτλο Tu Libertad. Το 1982 ο Ρούσσος πήρε μέρος με έκτακτη συμμετοχή στο soundtrack της κινηματογραφικής ταινίας Blade Runner.

Ο Ρούσσος άρχισε σόλο καριέρα μετά από τη διάλυση των Aphrodite’s Child, αρχίζοντας με το τραγούδι “We Shall Dance”. Αρχικά χωρίς ανταπόκριση, περιόδευσε στη νότια Ευρώπη και έγινε σύντομα ευρύτερα γνωστός ως κορυφαίος τραγουδιστής. Η σταδιοδρομία του έφτασε στο ζενίθ τη δεκαετία του ’70 με πολλούς δίσκους που έγιναν επιτυχίες. Το “Forever and Ever” ανέβηκε σε πολλά ευρωπαϊκά charts το 1973.

Το 1974 κυκλοφορεί το “White Sails”, μια αγγλική διασκευή του τραγουδιού “Άσπρα, Κόκκινα, Κίτρινα, Μπλε” από τον δίσκο “Συνοικισμός Α΄” του 1972, σηματοδοτώντας μια σύντομη περίοδο συνεργασίας του τραγουδιστή με τον συνθέτη Δήμο Μούτση, ο οποίος θα ακολουθήσει στη συνέχεια ένα μοναχικό μουσικό σταυροδρόμι με έντονες επιρροές από βετεράνους της rock και της folk, όπως ο Eric Clapton, η Joni Mitchell και ο Paul Simon.

Ακολούθησαν τα “My Friend the Wind”, “My Reason”, “Velvet Mornings”, “Goodbye My Love, Goodbye”, “Someday Somewhere” και “Lovely Lady of Arcadia”. Το 1980 είχε επιτυχία με το “Lost in Love” των Air Supply που το τραγούδησε ντουέτο μαζί με την Florence Warner και με τον Dick Morrissey στο σαξόφωνο.

Επανακυκλοφόρησε τα τραγούδια του σε διάφορες γλώσσες και είχε επιτυχία στις χώρες της Ευρώπης και της Λατινικής Αμερικής. Στην Αμερική το LP Demis έγινε χρυσός δίσκος.

Το 1982 εξέδωσε το βιβλίο ‘A Question of Weight’ (“Είναι θέμα βάρους”), μαζί με την Veronique Skawinska, στο οποίο ασχολήθηκε αμερόληπτα με το θέμα της παχυσαρκίας.

Μετά από μια περίοδο σιωπής και κλινικής κατάθλιψης τη δεκαετία του ’80, επανήλθε το 1993 με το Insight (γνωστό και ως Morning has Broken) και συνεργάστηκε με την ολλανδική εταιρεία BR Music για την παραγωγή των δίσκων Immortel, Serenade και In Holland, χρησιμοποιώντας ποικίλα εθνικά και ηλεκτρονικά στυλ.

Συνεχίζοντας τις ηχογραφήσεις και τις περιοδείες, την άνοιξη του 2002 έκανε μια επιτυχημένη περιοδεία στην Αγγλία.

Τον Σεπτέμβριο του 2013, παρασημοφορήθηκε από την Γαλλική Δημοκρατία με τον τίτλο του Ιππότη της Λεγεώνας της Τιμής, σε τελετή που παρατέθηκε στην πρεσβεία της Γαλλίας στην Αθήνα.