คำว่า “ ละแม “ นั้นถ้าได้ฟังนั้นอาจจะคิดว่าเป็นชุมชนของคนมุสลิม แต่ในความเป็นจริงแต่อดีตที่ผ่านมาไม่เคยพบว่าที่นี่มีคนมุสลิมอาศัยอยู่เลย  และจากคำบอกเล่าของผู้เฒ่าผู้แก่คำว่า “ ละแม “ อาจจะเป็นการเรียกเพี้ยนมาจากคำว่า  “ ลาแม่ “ หรืออีกคำบอกเล่าหนึ่งคือ คำว่า "ละแม" สันนิษฐานว่า เกิดจากสภาพภูมิศาสตร์ท้องถิ่นริมอ่าวไทย ตั้งแต่จังหวัดตราดเรื่อยมาจนถึงปักษ์ใต้ตอนล่าง มีคำเขมรโบราณใช้กันอยู่มากที่ใช้เรียกเครื่องมือ สัตว์ ต้นไม้ เกาะ ภูเขา มีภูเขาลูกหนึ่งตั้งอยู่ด้านตะวันออกของสถานีรถไฟละแม มีรูปร่างคล้ายหนูหมอบอยู่ เมื่อมองจากสถานีรถไฟ หรือมองจากชายทะเลก็มีลักษณะเหมือนหนูหมอบอยู่ ตามพจนานุกรมเขมร คำว่า แลมห์ แปลว่า หนูผี เป็นคำเขมรโบราณ จึงเป็นไปได้ว่ามีคนไทยที่ย้ายลงมาจากทางเหนือ และคนท้องถิ่นแถบนี้เป็นคนขอม พูดภาษาขอมหรือเขมร เรียกชื่อตามรูปภูเขาที่เห็น ต่อมาเพี้ยนเสียงเป็นละแม ชุมชนแรกตั้งของตำบลละแม คือชุมชนบ้านปากน้ำละแม เพราะว่าอยู่ติดกับชายทะเลอ่าวไทย ในอดีตนั้นใช้ทางน้ำเป็นเส้นทางในการคมนาคม จากคำบอกเล่าของผู้เฒ่าผู้แก่ของชาวปากน้ำละแมว่า คนท้องถิ่นเดิมนั้นมีไม่มากนัก แต่มีคนที่มาจากถิ่นอื่น ที่เข้ามาตั้งรกรากโดยมีอาชีพค้าขาย และทำการประมง ปากน้ำละแมเป็นจุดขนถ่ายสินค้าต่าง ๆ โดยเฉพาะเกลือ ซึ่งบรรทุกมากับเรือสำเภาจากจังหวัดเพชรบุรี นำมาขายที่หัวเมืองชายฝั่ง เมื่อถึงปากน้ำละแมก็จะบรรทุกไม้หลาโอน ถ่าน และของป่ากลับไปขายที่แม่กลอง ประมาณกันว่าปากน้ำละแมได้  ก่อตั้งมาก่อน พ.ศ. 2452 ยังมีการปกครองเป็นกลุ่มบ้าน มีผู้ปกครองคนแรก ชื่อ นายจรูญ เป็นคนมาจากภาคกลาง ซึ่งในขณะนั้นยังขึ้นอยู่กับอำเภอหลังสวน ต่อมามีการแบ่งแยกหมู่บ้าน 8 หมู่บ้าน และยกฐานะเป็นตำบลละแม ขึ้นกับอำเภอหลังสวนมี กำนันอั้น  พลารชุน เป็นผู้ปกครอง จากนั้นในปี พ.ศ. 2513 ได้มีการแบ่งแยกหมู่บ้านออกเป็น 16 หมู่บ้าน และได้มีการแบ่งแยกตำบลเป็น 3 ตำบล ได้แก่ ตำบลละแม ( เดิม ) ตำบลทุ่งหลวง ตำบลสวนแตง และได้ยกฐานะเป็นกิ่งอำเภอละแม      เมื่อวันที่ 1 กรกฎาคม พ.ศ. 2514  มีหัวหน้ากิ่งอำเภอคนแรกคือ นายวิรัช  วงศ์วโรทัย  จวบจน วันที่ 13 เมษายน พ.ศ. 2520 ได้มีการประกาศในราชกิจจานุเบกษา ยกฐานะเป็นอำเภอละแม    

ความเป็นมาขององค์การบริหารส่วนตำบลละแม

               สำหรับดวงตราสัญลักษณ์ขององค์การบริหารส่วนตำบลละแม  เป็นรูปวงกลมภายในเป็นรูปภูเขาสูงตระหง่าน  มีดวงอาทิตย์ส่องแสงเปล่งรัศมีระหว่างภูเขายามรุ่งอรุณ  มีทะเลและเรือใบ  มีถนนระหว่างทะเลกับภูเขา  ซึ่งมีความหมายในตัวเองว่า  องค์การบริหารส่วนตำบลละแมเป็นเมืองที่มีความหลากหลายของทรัพยากรมีความอุดมสมบูรณ์  ธรรมชาติสวยงาม อยู่ดีกินดีและมีความรู้ความสามารถมีความคิดกว้างไกลดั่งแสงอาทิตย์ส่องภายใต้การปกครองระบอบประชาธิปไตย(ภาคผนวก  ก)
               หมายเหตุ  สีประจำองค์การบริหารส่วนตำบลละแม  คือ สีเขียว