Nama Matobe berasal dari pohon Tobe, sejenis pohon berdaun lebar yang dahulu tumbuh subur di sepanjang garis pantai desa. Pada masa lampau, wilayah ini menjadi tempat pelarian akibat konflik kekuasaan yang menyebabkan pembantaian di daerah sekitar. Para penyintas melarikan diri dan menetap di kawasan yang kini dikenal sebagai Matobe, yang pada saat itu dipenuhi oleh pepohonan Tobe.

Garis pantai Matobe dahulu terletak lebih jauh ke darat, namun abrasi yang terjadi selama puluhan tahun mengakibatkan pantai semakin maju ke arah laut. Sekitar tahun 1990-an, daerah pesisir ini masih menjadi tempat berkegiatan masyarakat, seperti mencari ikan atau berkumpul bersama keluarga. Salah satu keunikan lokal terjadi saat musim hujan, di mana ibu-ibu biasanya mencari ikan menggunakan tanggu. Mereka bisa mendapatkan ikan kecil, ikan besar, bahkan udang. Ada kepercayaan bahwa hewan-hewan ini berasal dari makhluk berbentuk lendir yang jatuh ke air dan berubah menjadi ikan atau udang pada pagi hari sekitar pukul 6. Jika sudah siang, hewan-hewan ini tidak lagi terlihat.

Pohon Tobe sendiri mirip dengan bakau dan kayunya biasa dimanfaatkan oleh warga sebagai kayu bakar karena dikenal tahan terhadap api dan berkualitas baik. Namun, akibat abrasi yang terus terjadi, keberadaan pohon Tobe kini mulai menghilang.