Chateau d'Oléron liegt kurz hinter der Straßenbrücke an der Ostseite der Insel. Die Stadt bezeichnet sich als "Hauptstadt der Austernzucht".

Wunderschöne alte Häuser in engen, verwinkelten Gassen, mit buntem Blumenschmuck und blauen Fensterläden.

Direkt an der Küste steht die von Kardinal Richelieu in Auftrag gegebene Zitadelle, mit deren Bau 1630 begonnen wurde.
Ende des 17. Jahrhunderts wurde sie durch Vauban erweitert. Im 2. Weltkrieg gab es schwere Schäden durch Beschuß.

Die flachen Pontonkähne der Austernzüchter liegen malerisch vor bunt gestrichenen Geräteschuppen, im Hafen am Fuß der Zitadelle.