운제산은 원효대사가 원효암과 자장암을 명명하고 수도 포교할 때 계곡을 사이에 두고 두 암자가 기암절벽에 있어서 내왕이 어려우므로 구름다리로 서로 오가고 했다 하여 붙인 이름이라고도 하며, 신라 제2대 남해왕비 운제부인의 성모단이 있어서 붙인 이름이라고도 한다.
과거에 자장, 원효, 혜공 등 고승들이 이 산에서 수도하였다고 전해진다.

오어사는 신라 진평왕 때 창건된 절이다.
신라의 사성인 율사,혜공·원효·의상 대사가 머물렀던 곳으로 삼국유사에 그 이름이 기록되어 있다.
오어사의 원래 이름은 항사사(恒沙寺)였다. 항사사는 ‘항하수의 모래알처럼 많은 사람들이 세속을 벗어났으므로 항사동(恒沙洞)이라 부른다’고 삼국유사는 전한다.
항사가 오어가 된 사연에는 원효 대사와 혜공 선사가 있다.
옛날 원효와 혜공은 항사사 개울가에서 놀다 물고기를 잡아먹고는 바위 위에 변을 본다. 혜공이 그것을 가리키며 말하기를 ‘그대가 눈 똥은 내가 잡은 물고기다’. 이때부터 항사는 ‘내 물고기’ 오어(吾魚)가 되었다. 운제산을 끼고 휘돌아 나가는 계곡물이 보듬어 안은 오어사는 사계절 아름다운 풍광을 자랑하고 있다. 천년고찰답게 문화재로 지정된 대웅전을 비롯하여 동종, 염불계비문, 운제산 단월발원비문, 자장암, 원효대사 삿갓 등 많은 볼거리를 간직하고 있다.