A 2 km du chef-lieu de Sciez-sur-Léman, sur le flanc de la colline de Boisy, le village de Chavannex préserve avec soin une chapelle dédiée à Notre-Dame. L'Abbaye de Filly ayant été détruite, ce sanctuaire demeure le seul témoin de l'activité des moines dans notre région. Construite au XIIIéme siècle par les moines de Filly, afin d'assurer le service religieux des villages de Chavannex et de Vernaz, éloignés de l'église de Sciez-sur-Léman , la chapelle est pour la première fois qualifiée de paroisse en 1390.

Consacrée en 1474, deux jeunes gens de Sciez-sur-Léman y recevront la tonsure en 1518. Au XVéme siècle, l'édifice initial est rénové et une nouvelle chapelle y est adjointe ( qui n'est autre que celle qui subsiste de nos jours ). Bien que rattachée à la paroisse de Sciez-sur-Léman, en 1598, des offices continuent à y être célébrés, notamment par saint François-de-Sales. Le saint évêque aimait ce lieu de prière. C'est lui, dit-on, qui aurait apporté à Chavannex l'antique et précieuse statue de Marie, placée au-dessus de l'autel, cette œuvre du Moyen Âge taillée dans le Chêne à 0.90 m de hauteur ; la Vierge est représentée assise tenant l'Enfant Jésus. La tête de l'Enfant a été restaurée au XIXéme siècle, mais celle de la Vierge portant un tortil de baronne est intacte et très expressive dans son style ancien.

A la Révolution, en 1793, la chapelle est désaffectée. Bien national, elle est acquise aux enchères par un habitant de Perrignier. Mais la statue et la cloche sont cachés par les gens du pays, qui interviendront aussi pour éviter que le sanctuaire ne soit transformé en grange par son propriétaire. Au XIXéme siècle, la chapelle devient progressivement un centre de pèlerinage. Elle perd son rôle d'église annexe. En 1927, une longue restauration est entreprise, qui vise le clocher, la toiture et la décoration intérieure. Celle-ci est confiée à l'abbé Mantilleri de Genève. Les voûtes du XVéme siècle sont peintes selon le style et le goût de l'époque. En 1928 est réalisée la fresque située sous le porche et qui représente Notre-Dame recevant les hommages de saint Antoine, ermite et de saint Félix, martyr. La dernière réfection du clocher et de la toiture date de 1972. Chaque année la fête du 15 août est célébré à la chapelle de Chavannex, qui ce jour-là est ouverte aux pèlerins. Les estivants sont accueillis par les habitants de Chavannex à cette occasion.