Lingyin templet ligger ca 2 km vest for søen, Xi Hu. Lingyin betyder ”Sjælens tilflugtssted” og det er grundlagt af en budhistisk munk, Hui Li, i år 326.

Lingyin Si ligger i et landskab af kalkstensbjerge hvis nordlige top er 1686 m.o.h. For budhist-munken så det fuldstændigt ud som om bjerget var et stykke af det indiske bjerg Grdhrakuta. Derfor kaldte han det for Felai Feng, ”Bjerget som kom flyvende hertil”.

I kalkstenshulerne og i klippesiderne er der udskåret ialt 345 skulpturer, relieffer og inskriptioner. I ”Den grønne skovhule” også kaldet ”Tigerhulen” - fordi dens indgang ligner gabet på en tiger -  finder man den ældste skulptur, ”De tre vismænd fra Vesten”. Den er udskåret i år 951. I samme hule er fundet 116 stenrelieffer og piktogrammer.

Klostret og templet er flere gange brændt ned og bygget op igen.

På et tidspunkt boede der henved 3000 munke i klostrets 18 pavilloner. Men under en opstand i 1861 (Taiping-oprøret) blev templet næsten totalt ødelagt. Kun den store sal fra 1661, med statuerne af Buddha 500 disciple, undgik at blive ødelagt. Til gengæld brændte netop denne sal og alle statuerne i 1936 og i 1949 kollapsede hovedbygningen helt.

I 1953-58 blev templet gennemgribende restaureret og genopbygget – blandt andet med støtte fra senere premierminister Zhuo Enlai.

Under kulturrevolutionen kom Lingyin Si imidlertid i en udsat position. Kineserne havde på det tidspunkt en generel diskussion om hvorvidt man skulle bevare traditionel arkitektur eller ej og rødgardister hængte bannere op på templets gårdsplads med slogans som ”Knus den gamle verden”. Heldigvis var der også en mere moderat fløj, og dens repræsentanter tog kontakt til Zhou Enlai som formåede rødgardisterne til at skåne såvel tempelt som gudefigurerne i klipperne.

Efter kulturrevolutionens afslutning blev templet endnu en gang restaureret og genopbygget, statuerne forgyldt og i 1978 åbnede det påny, både for budhistiske munke og for besøgende.

I 1982 blev klippeområdet af  Det Kinesiske Statsråd erklæret for nationalarv med særlig krav på beskyttelse.

I dag kan man derfor igen beundre den forgyldte kæmpestatue af Buddha som står i ”De store heltes skønne hal” bag to 9 etagers pagoder. Den er af kamfertræ og 9 m høj.

Ved klippehulerne er der skiltning som på både kinesisk og engelsk fortæller hvad man ser, så der er ingen praktiske problemer ved at gå på egen hånd.

En lille stejl sti fører op til toppen. 

På området er der dels en vegetarrestaurant, dels en almindelig restaurant med det forjættende navn "Himlen ved siden af himlen", en hentydning til at Vestsøen er dannet af en perle som faldt ned fra Mælkevejen under et slagsmål mellem en drage og en fugl Phønix.