Bermula dari keinginan menpersatukan semua pelajar dan mahasiswa Indonesia di berbagai daerah di Yaman yang kala itu masih terkotak-kotak oleh prinsip dan sistem pendidikan yang berbeda, sebagian mahasiswa yang berada di Hadhramout berinisiatif membuat Organisasi PPI sebagai wadah aspirasi dan pemersatu pelajar dan mahasiswa. Dengan inisiatif sendiri tersebut, akhirnya terbentuklah PPI yang terdiri dari kepengurusan sementara yang diketuai oleh Mohamad Faiz Nur Kholis dan Sekretaris Heri Siswanto. Pembentukan PPI sementara ini hanya untuk mengetahui proses pembentukan PPI yang sah. Untuk itu, PPI sementara mengirim surat kepada sebagian besar PPI di luar negeri untuk meminta informasi dari PPI-PPI yang telah terbentuk.  Sementara itu, apa yang terjadi di Hadhramout tak jauh berbeda dengan  di Sana'a. Kala itu di Ibukota Sana'a telah terbentuk PPI dengan anggota lima orang dan kepengurusan juga lima orang.  Tetapi dua PPI itu tidak bisa mewakili semua pelajar dan mahasiswa karena secara organisasi memang belum diakui dan belum mendapatkan pengesahan dari semua komponen yang ada.
Pada bulan Januari 2000, Duta Besar RI untuk Yaman, Bapak Yulwis Yatim yang baru tiba di Sana'a mengundang perwakilan pelajar dan mahasiswa dari semua lemabaga dalam acara perkenalan dan ramah tamah. Disitulah semua perwakilan pelajar dan mahasiswa bertemu sampai pada pembicaraan organisasi yang bernama PPI. Ibarat Gayung bersambut, perwakilan dari Universitas Al Ahgaff saat itu Mohamad Faiz Nur Kholis dan Abdul Aziz Muslim bertemu dengan salah satu mahasiswa Universitas Al Iman bernama Muhsin dan berbicara seputar pembentukan PPI di Yaman.
"Jika terbentuk organisasi resmi yang membawahi semua pelajar dan mahasiswa, maka organisasi akan mendapatkan dana dari pemerintah Indonesia sebesar USD 1500, sebagaiamana PPI di luar negeri lainnya.  Sekarang ini sudah ada PPI di Sana'a tapi pengurus dan anggotanya hanya lima orang, jadi tidak bisa mewakili dan dana itu tidak bisa cair. Tidak usah mempersoalkan dana, yang penting kita bentuk dulu organisasi secara sah dengan melibatkan semua pelajar dan mahasiswa. Saya bagian di Sana'a dan kamu bagian di Hadhramout", Kata Muhsin.
Kedua belah pihak lalu bersepakat untuk membentuk organisasi tersebut, tetapi banyak kendala yang harus dilalui, selain KBRI yang belum memberi lampu hijau, juga letak antar lembaga saling berjauhan sehingga sulit untuk berkoordinasi apalagi transportasi dan komunikasi tidak seperti sekarang. Dahulu sarana komunikasi terbatas dengan surat menyurat karena handphone belum ada dan itu pun membutuhkan waktu lama.
Dengan berbagai upaya baik yang dari Hadhramout maupun Sana'a, akhirnya menemukan jalan setelah saudara Muhsin mengadakan pendekatan dengan (Dubes) Duta Besar RI, Yulwis Yatim yang akhirnya menyetujui dan mengutusnya pergi menemui pelajar dan mahasiswa yang berada di Hadhramout pada bulan April 2001 untuk membicarakan organisasi yang sudah dibicarakan satu tahun sebelumnya. Sebagian Pelajar dan Mahasiswa kurang respek bahkan sebagian ada yang pesimis karena memang saat itu kondisinya sangat berbeda. Namun, respon itu tidak mengendorkan semangat untuk membentuk sebuah organisasi, sebab setuju atau tidaknya ditentukan nanti pada tanggal 18 Agustus 2001 di Kedutaan Besar Republik Indonesia (KBRI) di Sana'a.
Seminggu sebelum peringatan HUT kemerdekaan RI tahun 2001, KBRI mengirim undangan kepada perwakilan pelajar dan mahasiswa untuk menindaklanjuti pembentukan organisasi yang akan diselenggarakan pada 18 Agustus 2001. Masing-masing lembaga diwakili oleh dua orang. Saat itu yang hadir adalah perwakilan Universitas Al Ahgaff (Hadhramout), Al Iman (Sana'a), Darul Ulum (Hudaidah), Yemenia (Sana'a), Darul Musthofa (Hadhramout), Rubat Tarim (Hadhramout), Dar Al Hadits (Ma'rib). Meskipun terjadi tarik ulur dari masing-masing perwakilan, namun akhirnya semua sepakat membentuk organisasi yang membawahi semua pelajar dan mahasiswa di semua lembaga dengan beberapa syarat anatara lain:

1.      Ketua Umum dari Hadhramout (periode pertama).
2.      Kantor Pusat berada di Hadhramout.
3.      Masa kepengurusan adalah satu tahun
Setelah mencapai kesepakatan bersama kemudian dilanjutkan dengan pembahasan nama organisasi yang kemudian diberi nama Himpunan Pelajar dan Mahasiswa Indonesia di Yaman disingkat HIPMI-Yaman. Meskipun nama ini terasa janggal karena sama dengan Himpunan Pengusaha Indonesia, namun ada pembeda dibelakangnya dengan embel-embel Yaman. Nama tersebut pun sudah menjadi pertimbangan yang matang meskipun idealnya dinamai PPI-Yaman tetapi mayoritas peserta yang hadir tidak sepakat dengan nama tersebut, karena beberapa pertimbangan diantaranya agar nama organisasi di Yaman ini beda dengan organisasi pelajar di negara lain. Mulai saat itulah, tanggal 18 Agustus 2001 HIPMI-Yaman berdiri dan disahkan oleh Duta Besar Indonesia untuk Yaman, Yulwis Yatim.

 Selain PPI Hadhramaut ada juga PPI Sana’a, PPI Hudaidah dan PPI Zabid yang tercatat sebagai anggota Dewan Presidium Wilayah. PPI Hadhramaut sendiri ketika itu diketuai oleh Sdr. Muhammad Pandi Yusron. PPI Hadhramaut ketika itu mencakup Tarim, Seiyun, Hauthoh, Mukalla, dan sekitarnya. Sampai pada tahun 2014 sesuai keputusan sidang MUBES PPI Yaman ke 13 di Hudaidah terjadi pemekaran di wilayah Mukalla. Saat itu hasil sidang memutuskan adanya 6 wilayah anggota Dewan Presidium Wilayah yaitu PPI Hadhramaut, PPI Sana’a, PPI Hudaidah, PPI Zabid, PPI Mukalla, dan PPI Aden.

 Sebelum terjadi pemekaran, pada tahun 2013-2014 PPI Hadhramaut diketuai oleh Sdr. Muhammad Buchori. Sedangkan pada periode 2014-2015 PPI Hadhramaut dikomandoi oleh Sdr. Rofik Anwari melaluli hasil pemilihan umum. Namun pada periode tersebut terjadi badai evakuasi sehingga sebagian besar pengurus PPI Hadhramaut meninggalkan Yaman pulang ke Indonesia termasuk ketuanya. Maka dari itu, komando pun beralih kepada wakil ketua PPI Hadhramaut Sdr. Muhammad Sa’dun Daaim. Ia menjadi Pelaksana Tugas sampai berakhirnya periode kepengurusan.

 Tepat pada tanggal 19 Desember 2015 diadakan MUBES dan MUSWIL PPI Yaman dan PPI Hadhramaut di Tarim. Keputusan sidang Muswil ketika itu mengangkat Sdr. Jihadul Muluk sebagai pemegang estafet PPI Hadhramaut 2015-2016.
Pada tahun 2016 PPI Hadhramaut mencakup Mukalla kembali. Sampai pada tahun periode 2016-2017 keputusan sidang Muswil ke-15, tepatnya tanggal 15 Desember 2016 di Ribath Al-Muhajir, Husaisah Muswil PPI Hadhramaut memutuskan dan mengangkat Sdr. Taufan Azhari Mujahid sebagai pemegang nahkoda PPI Hadhramaut. Hasil sidang Muswil masih bimbang dengan status PPI Mukalla. Karena SDM di wilayah Mukalla masih minim, untuk sementara fungsi PPI Mukalla masih mengekor kepada PPI Hadhramaut. Sekitar dua bulan kemudian, SDM di wilayah Mukalla meningkat sampai akhirnya PPI Mukalla mengadakan Muswil dan mengangkat Sdr. Zainal Abidin sebagai ketua PPI Mukalla. Jadi, untuk sementara ini PPI Hadhramaut hanya mencakup pelajar yang ada di wilayah Tarim, Husaisah, Seiyun, Hauthoh dan sekitarnya.