Ce jeu est fondé sur un affrontement amical entre deux villes à travers une série d'épreuves physiques sur terre, dans l'eau et dans les airs faites de jeux d'adresse sur tapis roulant et tournette donnant lieu à des dégringolades, sans oublier l'inévitable épreuve des vachettes landaises. Chaque jeu gagné rapporte 2 points, une égalité dans un jeu rapporte 1 point à chaque équipe. Les équipes peuvent aussi utiliser un joker pour doubler les points obtenus dans un seul jeu. Une épreuve mentale complète le jeu et permet à deux candidats des villes concurrentes de gagner des points supplémentaires en répondant à des questions de culture générale. Au nombre de points, la saison se termine par une finale. Dans la version 2004, chaque épreuve gagnée rapporte 4 points, en cas d’égalité, 2 points pour chacune des deux équipes.
Dans les années 1960, Intervilles devient vite un véritable phénomène de société par son côté populaire et jubilatoire. L'émission est présentée par deux des plus célèbres hommes de télévision de l'époque, Guy Lux, le présentateur emblématique du Palmarès des chansons, et Léon Zitrone, le grand spécialiste du commentaire des cérémonies prestigieuses, comme le couronnement d'Élisabeth II. Chacun des deux présentateurs est situé dans une des deux villes candidates et est chargé de la défendre. Ils mettent toute leur ardeur à cette tâche, y compris en feignant la mauvaise foi manifeste, ce qui soulève l'enthousiasme des spectateurs et téléspectateurs. La première finale est disputée en 1962 entre les villes de Dax (Landes) et de Saint-Amand-les-Eaux (Nord). Simone Garnier, la fidèle complice de Guy Lux, est chargée du rôle d'arbitre.
