Los Gunners nunca han sido campeones de Europa, pero han estado más cerca que nunca en Budapest.
Kai Havertz adelantó pronto a los campeones de la Premier League, pero un penalti de Ousmane Dembélé en la segunda parte permitió que el PSG empatara.
El conjunto francés se impuso 4-3 en la tanda de penaltis y retuvo el trofeo después de que Eberechi Eze y Gabriel Magalhaes fallaran sus lanzamientos.
"Creo que hemos llegado muy lejos y esto es solo el principio para este grupo", afirmó el centrocampista inglés Rice a TNT Sports.
"Obviamente, logramos el título de la Premier League, que era un sueño hecho realidad. Esto habría sido dar un paso más".
"No ha podido ser, pero seguimos construyendo. Desde que llegué al club, fue una eliminación en cuartos de final de la Champions, luego semifinales y ahora una final. Así que seguimos adelante, seguimos siendo positivos".
El PSG ha tenido que luchar durante años para conquistar la Champions, a pesar de la enorme inversión de sus dueños cataríes.
Pero el club parisino ha cambiado la historia bajo el mando de Luis Enrique y se ha convertido en el segundo equipo en la era Champions que logra defender el título.
Rice señaló que ese es un ejemplo que el Arsenal puede seguir.
"Ellos han perdido muchas veces a lo largo de los años y, obviamente, ahora les ha llegado su momento", añadió.
"Siento que eso también nos va a pasar a nosotros".
"Hemos tenido estos pequeños tropiezos, pero vamos a seguir luchando para intentar conseguir algo grande".