Se fundó el 21 de mayo de 1904 y tiene su sede en Zúrich, Suiza. Forma parte del IFAB, organismo encargado de modificar las reglas del juego. Además, la FIFA organiza la Copa Mundial de Fútbol, los otros campeonatos del mundo en sus distintas categorías y ramas, los Torneos Olímpicos a la par del COI y otras competiciones.

La FIFA agrupa 211 asociaciones o federaciones de fútbol de distintos países, contando con 18 países afiliados más que la Organización de las Naciones Unidas, tres menos que la Asociación Internacional de Federaciones de Atletismo y cuatro menos que la Federación Internacional de Baloncesto.
El aumento de la popularidad y la competencia internacional en el fútbol a principios del siglo XX hicieron necesario crear un único organismo regulador del deporte a nivel mundial. La Federación Inglesa de Fútbol sostuvo discusiones acerca de la formación de una federación internacional, pero esta iniciativa no tuvo acogida.
Entonces otros siete países europeos —Bélgica, Dinamarca, España, Francia, Holanda, Suecia y Suiza— se reunieron para asociarse y, de esta manera, la FIFA fue fundada en París el 21 de mayo de 1904. El nombre francés y su acrónimo se han mantenido hasta la fecha, incluso fuera de los países francófonos. Su primer presidente fue el francés Robert Guérin. Pese a que no participó inicialmente en su conformación, Inglaterra se unió al año siguiente.
La FIFA presidió su primer torneo internacional en 1906, pero no fue exitoso. Esta situación, sumada a los factores económicos, propició el reemplazo de Guérin por el inglés Daniel Burley Woolfall, quien en el momento era un miembro de la asociación. El siguiente torneo internacional fue la competición olímpica de fútbol de Londres 1908, la cual tuvo un buen resultado con la participación de jugadores profesionales. Fue organizada por la Federación Inglesa de Fútbol, contraria a los principios de la FIFA.
La Federación se extendió fuera de Europa con el ingreso de Sudáfrica en 1909, Argentina en 1912, Canadá y Chile en 1913, y los Estados Unidos en 1914. No obstante, la FIFA sufrió un tropiezo durante la Primera Guerra Mundial, ya que muchos jugadores fueron expulsados por la guerra y se vio seriamente afectada la posibilidad de viajar para cumplir los compromisos internacionales.
Después de la guerra falleció Woolfall y la organización pasó a ser dirigida en forma provisional por el neerlandés Carl Hirschmann. Se superó la crisis, pero a costa del retiro de las naciones británicas, ya que no estaban dispuestas a participar en torneos internacionales con sus recientes contrincantes de la guerra mundial.

En 1921 el francés Jules Rimet llega a la presidencia y a partir de los Juegos Olímpicos de París 1924 organizó los campeonatos de fútbol, contando con 60 000 espectadores en el partido final entre Uruguay y Suiza.
Estos éxitos apremiaron a la FIFA para que, en el Congreso de Ámsterdam del 28 de mayo de 1928, considerara el establecimiento de su propio Campeonato Mundial. En el congreso siguiente de Barcelona se terminó de planear el campeonato, que se llevaría a cabo en Uruguay para celebrar el centenario de su independencia. Por desgracia, Europa estaba en una crisis económica y los clubes habrían de quedarse sin sus estrellas durante dos meses, así que muchos países renunciaron a participar en él. Sin ellos, la primera Copa Mundial se inauguró en Montevideo el 18 de julio de 1930 con tan solo cuatro selecciones europeas.