La FIFA fue fundada el 21 de mayo de 1904 por delegados de Bélgica, Dinamarca, España, Francia, Holanda, Suecia y Suiza. Puesto que la fundación tuvo lugar en París, la FIFA obtuvo su nombre en francés: Fédération Internationale de Football Association.
La nueva FIFA eligió el término "Football Association" para distinguirse claramente en aquella época del "Union Football", más conocido como rugby. La separación de estos dos grupos se inició en 1823, en ocasión de un partido jugado en la ciudad inglesa de Rugby, cuando un jugador del equipo local marcó un gol tras recoger la pelota con las manos y entrar corriendo con la misma en la meta.
El juego clásico del "Football Association" conservó el balón redondo original, mientras que el rugby y el fútbol americano optaron por elegir uno ovalado.