El comité ejecutivo revocó su respaldo al dirigente suizo del fútbol en una reunión celebrada el 25 de septiembre, después de haber apoyado su candidatura en junio.
"La decisión llega tras una reevaluación exhaustiva de los acontecimientos de los últimos meses", señaló la SFV en un comunicado.
"Desde la perspectiva de la SFV, varios incidentes plantean cuestiones fundamentales sobre el liderazgo, la gobernanza, la transparencia y los procesos de toma de decisiones dentro de la FIFA", añadió.
Infantino, que busca la reelección en marzo, se ha enfrentado a una oposición cada vez mayor desde que en julio intentó vender una participación en los torneos de la FIFA, incluido el Mundial, una operación que se vio obligado a abandonar.
La retirada supone el último revés para Infantino. Las federaciones de fútbol de Inglaterra, Gales, Francia, Serbia y otros países europeos ya habían retirado su respaldo antes de las elecciones. La UEFA se ha comprometido a presentar un candidato rival antes de que venza el plazo de noviembre.
Infantino, de 56 años y presidente de la FIFA desde 2016, ha recibido numerosas peticiones de dimisión en medio de los llamamientos generalizados a reformar el organismo rector del fútbol mundial.
Infantino escribió este mes en una carta dirigida a las federaciones miembro que estaba abierto a dialogar sobre las reformas, pero la SFV afirmó que las cuestiones clave relativas a las responsabilidades de la FIFA y a sus procesos de toma de decisiones seguían sin respuesta.
"Como estas cuestiones no se han aclarado de forma convincente, no podemos justificar que sigamos apoyando la candidatura de Gianni Infantino", añadió la SFV.