Professionista dal 1986 al 2001, si "innamora" della classica Parigi-Roubaix, alla quale partecipò per la prima volta nel 1981, cui di fatto ha dedicato la sua carriera riuscendo a vincerla per due volte, nel 1995 e nel 1998, dopo che già nel 1993 si era visto soffiare la vittoria in volata dal sottovalutato francese Duclos-Lassalle: complessivamente, oltre alle due affermazioni, "Ballero" ha collezionato alla Parigi-Roubaix un secondo posto, un terzo, un quinto e un sesto. A causa di problemi di allergia, non ha mai potuto impegnarsi a fondo nelle grandi corse a tappe (5 partecipazioni al Giro d'Italia con una vittoria di tappa), essendo costretto a "saltare" la parte centrale della stagione. Tra le altre sue affermazioni ricordiamo: la Tre Valli Varesine nel 1987 e la Parigi-Bruxelles del 1990.Dal 2001 Guida la Nazionale Italiana Professionisti, che ha portato alla vittoria del titolo mondiale a Zolder con Mario Cipollini (2002), del titolo olimpico ad Atene con Paolo Bettini (2004) e il titolo mondiale a Salisburgo sempre per merito di Paolo Bettini. La sviscerata e dichiarata passione per la grande classica del nord è valsa a Ballerini la cittadinanza onoraria dalla città di Roubaix. Nel 2001 i tifosi francesi accolsero il suo ingresso nel Velodromo di Roubaix con una vera e propria ovazione, benché fosse solo 32°: all'arrivo si tolse la giacchetta scoprendo la sottomaglia sulla quale campeggiava la scritta “Merci Roubaix” (Grazie Roubaix). Fu quella la sua 13° e ultima partecipazione, nonché l'ultima gara della sua carriera.