З першої згадки про Олеський замок, яка датується 1327 р., відомо, що на крутому пагорбі, оточеному з усіх сторін болотами, височіла давньоруська фортеця, овальна у плані, зі стінами 10-метрової висоти і більше, ніж 2 м ширини.
Замок завжди був бажаною здобиччю для ворогів. Новий етап в історії замку почався з моменту його переходу у власність магната Яна Даниловича (1605 р.). Новий власник надав замку вигляду житлової споруди з ознаками італійського відродження. Таким від зберігся до наших часів.
В Олеському замку народились два польські королі – майбутній переможець турків під Віднем Ян ІІІ Собєський (1629 р.) і Корибут Вишневецький (1639 р). Легенда про Яна Собєського стверджує, що він народився під час грози. На замок тоді ще напали татари. Коли бабка-повитуха поклала немовля на чорний мармуровий стіл, вдарив дуже сильний грім, стіл тріснув і бабка оглухла. Відразу з’явилось пророцтво про те, що новонароджений буде незвичайною людиною. Також існує припущення, що при дворі Яна Даниловича перебував Михайло Хмель – батько Богдана Хмельницького, війська якого в 1648 р. захопили замок.
Кажуть, що в Олеському замку є привид. Кожної ночі до нього підкочується карета, запряжена парою білих коней, брама замку відчиняється і карета в’їжджає на подвір’я. З неї виходить один з колишніх власників замку, заходить до середини, ходить залами, а з першими півнями щезає. А ще кажуть, що вночі у замку кожна незасватана дівчина може поспілкуватись з духом Адама Жолкевського, який був закоханий у старшу доньку Яна Даниловича Марціану. Данилович мріяв про багатих зятів, які б посідали високі посади при королівському дворі. Адам не відповідав цим вимогам. Одного разу під час гри в карти Данилович остаточно відхилив сватання Адама. На очах у всіх юнак себе вбив, його тіло кинули в болото недалеко від замку.
У 1719 р. замок купив Станіслав Жевуський. Його син перетворив замок на розкішну резиденцію. З часом замок занепав. Сильно пошкодив його землетрус 1838 р. Не менше пошкодили його самі власники. Якось випадково в одній з кімнат було знайдено замурований скарб. Відтоді почались масові пошуки інших коштовностей: розбивали стіни з розписами, руйнували каміни, знімали підлоги. У кінці 19 ст. Олеський замок перетворився на руїну. Під час війни в замку розміщались військові склади. До 1975 р. тривала реставрація замку. Сьогодні тут музей-заповідник, відділ Львівської галереї мистецтв.