唐朝咸通年间，一位来自日本的求法僧人慧锷，从五台山请来了一尊檀香木观音像，发誓一定要把菩萨带回自己的国家。慧锷给菩萨披上了袈裟，准备启程返航。当船行至舟山莲花洋时，海面突然狂风大作，波涛汹涌，船只陷入了困境。慧锷赶紧跪在观音像前，把内心的担忧倾诉出来：“如果菩萨不肯东渡去日本，希望能在此地保佑百姓。弟子愿修建一座寺庙供奉您。”话刚说完，海面上的风浪就平息了。慧锷明白菩萨不答应自己的请求，这是为了显示慈悲之心。于是，慧锷在潮音洞旁搭起三间茅草庵，把它命名为“不肯去观音院”。这个小寺庙的香火很旺，因为菩萨的慈悲示现，给海上航行增添了一份保障——每当遇到风浪时，只要诚心祈祷，就能看到观音的身影或听到诵经的声音，船只就能化险为夷。 这个事情发生后不久，浙东海面出现了一头巨大的鲸鱼，它经常掀翻渔船给渔民带来灾难。慧锷带领众人在不肯去观音院点燃灯火祈求神灵保佑。忽然间，潮音洞中射出金光，观音显现在海浪中脚踏波涛，手持杨柳净瓶洒下甘露。刹那间巨大的鲸鱼变成了一座小岛，海浪变得平静，海面上出现了肥沃的土地。渔民们把新形成的小岛称为“鲸山”，并且世代供奉观音神像来表达感恩之情。 慧锷圆寂之前把檀香木观音像托付给了弟子们，并嘱咐他们要守护道场、广传佛法。人们为了纪念他建造了慧锷塔并立在不肯去观音院旁边。自从唐朝至今香火一直没有间断过。普陀山和九华、五台、峨嵋一起被称为中国佛教四大名山；每年农历二月十九是观音圣诞日、六月十九是成道日、九月十九是出家日这三天会有许多信徒聚集在山上祈福祈福念经声不断响起，“闻声救苦”的观音传说也因此传遍天下。