Nació en la localidad de Vera en la Provincia de Santa Fe, el 18 de Octubre del año 1959. En 1977comienza a estudiar Facultad de Ingeniería y Ciencias Exactas de la Universidad Nacional de Rosario la carrera de Ingeniería Civil.
 
En 1980 comienza a militar y en el año 1987 se postula y consigue una banca como concejal de la Ciudad de Rosario hasta 1991. Tras finalizar su mandato trabajó como Ingeniero en el ámbito privado, para retornar nuevamente al campo político en 2002, electo nuevamente como edil de la ciudad. 

En 2005 deja el cargo para asumir como Diputado Nacional por la provincia de Santa Fe y en 2007 sin éxito compitió por la gobernación de esa provincia.

En 2009 renueva su banca en la cámara baja y vuelve a postularse en 2011 como candidato a Gobernador de Santa Fe, elecciones que consagraron a Antonio Bonfatti.

En junio de 2013 la presidenta Cristina Fernández de Kirchner lo designa como Ministro de Defensa de la Nación.

En 2017 Rossi asumió como diputado electo Diputado Nacional por Santa Fe en representación de Unidad Ciudadana.

En 2019 es nombrado Ministro de Defensa por el presidente electo Alberto Fernández. Renunció en agosto de 2021 para ser precandidato a senador por el Frente de Todos de Santa Fe, pero perdió en las PASO.

El 6 de junio de 2022, por decreto 295/2022, el presidente Fernández lo designa Interventor de la Agencia Federal de Inteligencia (AFI). Desde el 15 de febrero de 2023 es designado Jefe de Gabinete de Ministros, en reemplazo de Juan Manzur, hasta el 10 de diciembre de 2023.

En las elecciones 2023 fue compañero de fórmula de Sergio Massa, en la lista de Unión por la Patria, pero cayó derrotado ante la fórmula de La Libertad Avanza, en la segunda vuelta del 19 de noviembre de 2023.