Ubicada a 220 km de la capital en el Golfo de Tailandia, Ko Samet tiene aproximadamente 13.1 kilómetros cuadrados (5.1 millas cuadradas) de tamaño, y tiene una forma similar a la letra "t". A lo largo de la "t" (norte-sur), la isla mide aproximadamente 7 km, y mide 4 km a través de la "t" (oeste-este). Los bosques cubren hasta el 80 por ciento del área total.
Más cerca del continente, se encuentra el pequeño pueblo de la isla de Na Dan, comúnmente conocida como Ko Samet Village, con su playa cercana, Hat Sai Kaeo (Glass Sand Beach; Thai: หาด ทรายแก้ว), la playa más larga de Ko Samet. La mayoría de las playas de Ko Samet se encuentran a lo largo de la costa este de la isla. Otras playas de la isla incluyen: Ao Phai, Ao Wai, Ao Kio Na Nai, Ao Cho, Ao Kio Na Nok, Ao Wong Duean, Cabo Kut, Ao Toei y Ao Karang en el extremo sur, y Ao Phrao en el oeste orilla de la isla. Justo al lado sur de la isla hay tres pequeñas islas rocosas, Ko Chan (Isla de la Luna; Tailandesa: าะ จันทร์), Ko San Chalam (Isla de las Aletas de Tiburón), y Hin Khao (Roca Blanca; Tailandesa: เกาะ หิน ขาข).
Ko Samet es uno de los archipiélagos más secos de Tailandia. Ko Samet tiene una cantidad de lluvia significativamente menor que la provincia de Rayong, aunque está a solo unos kilómetros de la costa. La "estación lluviosa" de la isla se extiende solo de mayo a julio, pero incluso durante esta temporada tiene menos lluvia que otras islas en Tailandia. La isla, a pesar de ser árida, consiste en exuberantes colinas boscosas, cubiertas de bosques siempreverdes y caducifolios, y los árboles de cajeput crecen abundantemente (el nombre "samet" significa "cajeput"). Debido a la falta de lluvia, Ko Samet debe importar agua potable del continente.