Son éloignement des côtes de Vendée, n’empêcha pas l’île d’Yeu d’être très peuplée dès l’époque néolithique, comme le prouvent ses nombreux mégalithes.
Les habitants de l’île d’Yeu se sont de tous temps défendus contre les menaces maritimes: avec les retranchements du Châtelet à l’âge de Bronze, la construction du Vieux-Château du XIVe au XVIe siècle ou celle du fort de Pierre Levée sous le Second Empire. Pourtant la mer fut aussi un atout : l’île d’Yeu lui doit un port actif et ancien, ses phares, ses anciennes conserveries, ses marins, pêcheurs ou cap-horniers, et toute une culture locale dont les peintures de bateaux et les souvenirs de voyages lointains sont les témoins. Malgré les mutations de ce siècle, l’île d’Yeu a conservé quelques moulins désaffectés, des villages aux basses maisons blanches, le vieux bourg seigneurial de Saint-Sauveur dominé par son clocher roman… Ils disent comment ce monde à part vit toujours au rythme des marées.