杨枝禅林位于清凉岗东下，原名杨枝庵。据清康熙《南海普陀山志》等记载，明万历三十六年（1608）宁绍参将刘炳文捐资，镇海禅寺（今法雨寺）住持如光建。清康熙间（1662-1722）僧通律、源升重建。光绪十八年（1892）僧开量同徒了根大修。民国十一年（1922）僧根心续修。

新中国成立初，僧新昌、光仁等4人居之。1988年普陀山佛协收回重建，当年重建门楼、拆建伙房及念佛堂，新建宿舍，余殿整修一新。1989年，从法雨寺迁颐养堂于此。1994年建附属用房，1995年8月拆东侧弥勒庵，重建为四合院式楼房，用作颐养堂。颐养老年僧人每人1间房，配有专人服侍，医疗、服务设施齐全。

禅院四周古木参天，拾级而上，西侧为1996年所建孙中山《游普陀志奇》碑亭，东侧为2003年增建的钟亭。第一重天冠殿；第二重天王殿；第三重杨枝观音殿，中供泥塑贴金杨枝观音立像；后面竖“杨枝观音碑”，上鎸唐阎立本绘杨枝观音立像，雍容华贵，妙相庄严，系明万历三十六年（1608）宁绍参将刘炳文重立，备倭都司梁文、痒生刘聚福捐资，武林孙良鎸；碑之反面刻《杨枝庵记》，系布政使司刘庭蕙撰文，刑部主事邵辅忠书。碑乃“普陀三宝”之一，1979年列为浙江省重点文物保护单位，2006年6月列为全国文物保护单位。大殿南北厢楼2幢，南楼后有寮房12间，北楼后为寮房和客堂。