เกาะปันหยี เป็นเกาะเล็ก ๆ มีที่ราบประมาณ 1 ไร่ หรือประมาณ 108 ตารางกิโลเมตร มีบ้านเรือน 300 หลังคา มีประชากรประมาณ 4,000 คน ตั้งอยู่ทางทิศตะวันตกเฉียงใต้ของที่ว่าการอำเภอเมืองพังงา ประมาณ 7 กิโลเมตร มีลักษณะเป็นเขาหินปูนสูงชะลูด แวดล้อมด้วยเกาะน้อยใหญ่

ย้อนหลังกลับไปนับร้อยปี บรรพบุรุษของคนปันหยี ซึ่งเป็นครอบครัวชาวชวา จำนวน 3 ครอบครัว อพยพมาจากอินโดนีเซียโดยเรือใบ 3 ลำ เพื่อค้นหาแหล่งทำกินที่ดีกว่าเดิม พวกเขาตกลงกันว่าหากใครพบที่ทำกินก่อน ให้สื่อสัญญาณด้วยการปักธงที่ยอดเขา และในที่สุดครอบครัว "โต๊ะบาบู" ก็พบเกาะหนึ่งก่อนใคร จึงขึ้นไปปักธงไว้ที่ยอดเขา และตั้งชื่อเกาะนั้นว่า "ปันหยี" ที่แปลว่า"ธง"

          พื้นที่ส่วนใหญ่ของ เกาะปันหยี ตั้งอยู่ในทะเลอ่าวพังงา และบริเวณป่าชายเลนอุทยานแห่งชาติอ่าวพังงา มีหมู่บ้านจำนวน 4 หมู่บ้าน คือ บ้านท่าด่าน ตั้งอยู่บริเวณน้ำตื้นในอ่าวพังงา, เกาะปันหยี ตั้งอยู่บริเวณน้ำตื้นในอ่าวพังงา, เกาะไม้ไผ่ ตั้งอยู่บนเกาะและป่าชายเลนอ่าวพังงา และเกาะหมากน้อย ตั้งอยู่บนเกาะในอ่าวพังงา ประชากรส่วนใหญ่นับถือศาสนาอิสลาม และประมาณร้อยละ 2 นับถือศาสนาอื่น ๆ และส่วนใหญ่ประกอบอาชีพด้านประมง เป็นหลัก นอกจาก นี้ยังมีการประกอบอาชีพ เช่น ทำสวนยางพารา สวนมะพร้าว อาชีพรับราชการ การค้าขายและรับจ้าง

เกาะปันหยี
 

และด้วยพื้นที่เป็นแผ่นดินอยู่น้อยนิดนี้ ชาว เกาะปันหยี ใช้เป็นที่ตั้งของศูนย์กลางหมู่บ้านและศาสนา ส่วนบ้านเรือน ร้านค้า และโรงเรียนตั้งอยู่ในน้ำ เดิมทีมีทางเดินเชื่อมถึงกันด้วยสะพานไม้ ก่อนจะเปลี่ยนเป็นสะพานปูนในปัจจุบัน เวลาน้ำขึ้น "หมู่บ้านปันหยี" จึงแลดูเหมือนหมู่บ้านลอยน้ำ แต่พอน้ำลงจะเห็นว่าบ้านนับร้อยหลังนั้น ตั้งอยู่บนเสาที่ปักในเลนมาตั้งแต่อดีต

ด้านทิศตะวันออกของ เกาะปันหยี จะมีร้านค้าเรียงรายตลอดสองทางเดิน แต่หากต้องการเห็นวิถีชีวิตความเป็นอยู่ของชาวบ้าน ก็ต้องเดินเลยย่านการค้าไปทางทิศตะวันตก และจะได้พบเห็นศาลาประชาคม สภากาแฟ ร้านค้าสำหรับชาวบ้าน ร้านตัดผม โรงเรียน และมัสยิด ที่อยู่คู่กับชุมชนกลางทะเลมาตั้งแต่อดีต