417년 아도화상(阿道)께서 창건하여 ‘보현사(普賢寺)’라 하였다. 임진왜란 때 모두 불탄 뒤 조선 인조22년(1644년)에 벽천(碧川)정현대사(正玄大師)가 중창하고 능가사로 이름을 바꾸었다.
벽천은 원래 90세의 나이로 지리산에서 수도하고 있었는데, 어느 날 밤 꿈에 부처님이 나타나서 절을 지어 중생을 제도하라는 계시를 받고 이곳에 능가사를 신축하였다고 한다. 그 뒤 1768년(영조 44)과 1863년(철종 14)에 각각 중수하였으며, 1993년에 응진전을, 1995년에 사천왕문을 각각 수리하여 오늘에 이르고 있다.
현존하는 당우로는 정면 5칸, 측면 3칸에 팔작지붕을 한 보물 제1307호로 지정된 대웅전을 비롯하여 응진당·종각·천왕문(天王門)·요사채 등이 있다. 문화재로는 350여 년 전에 나무로 만든 뒤 개금한 불상 8위와 나무로 만든 뒤 도분(塗粉)한 불상 22위, 보물 제1557호로 지정된 높이 157㎝의 범종(梵鐘)과 전라남도 유형문화재 제224호인 4.5m의 목조사천왕상(木造四天王像), 귀부(龜趺) 위에 세워진 높이 5.1m의 사적비(事蹟碑)가 전라남도 유형문화재 제70호로 지정되어 있다.
이 중 사적비는 1726년(영조 2)에 건립한 것으로 불교의 유래와 절의 역사를 기록해놓은 귀중한 자료이다. 전설에 의하면 이 비석은 원래 탑 앞에 있었는데, 덕목이 도술을 부려 절 뒤로 옮겨놓았다고 한다. 이 밖에도 절의 경내에는 광희(廣熙)·사영당(泗影堂)·추계당(秋溪堂) 등의 부도(浮屠) 8기가 있다.
영조 때 이중환(李重煥)의 기록에 의하면 옛날 일본 류큐(琉球：지금의 오키나와)의 태자가 표류하다가 이곳에 이르렀는데, 이 절의 관세음보살에게 기도하면서 고국으로 돌아가게 해달라고 빌었더니 7일 만에 승려가 나타나서 태자를 끼고 파도를 넘어갔다고 하며, 절의 승려들이 법당 벽에 그 모양을 그려놓았던 것이 영조 때까지 남아 있었다고 전한다. 부속암자로는 만경암(萬景庵)과 서불암(西佛庵)이 있었다고 하나 현존하지 않는다.
가섭 존자와 그의 부인 성스러운 일대기 
수 많은 남성의 넋을 잃게 만들었던 유녀 암바파리녀의 일대기 
