Di area pasar kota Tarim, tepatnya ujung timur laut berdiri tegak masjid klasik yang menjadi kebanggaan dan yang disakralkan masyarakat Tarim, yang dibangun oleh seorang ulama’ dan wali Allah Agung di masa itu. Meski tempatnya agak terpencil masjid ini tidak pernah sepi dikunjungi setiap harinya karena keistimewaan yang dimilikinya, dari yang sekedar menunaikan shalat lima waktu ataupun beriktikaf dan melantunkan ayat-ayat al-Quran.
Secara geografis, masjid ini berada tepat di utara masjid Ba Buthainah Rubath Tarim, hanya terpisah dengan jalan dan halaman luar masjid. Di sisi timurnya terdapat bangunan Darul Faqih Majlis Ifta’ Tarim, yang bertetangga dengan Masjid Ba ‘Alawi.
Sejarah Pembangunan
Masjid ini didirikan oleh Syekh Abdurrahman bin Muhammad as-Saqqaff pada tahun 678 H. yang dikenal sebagai atap para wali di masanya. Beliau banyak mendirikan masjid-masjid, baik di kota Tarim maupun di luar Tarim. Beliau diketahui mendirikan masjid sebanyak jumlah putra beliau yang berjumlah 12 orang, setiap terlahir satu orang putra, beliau akan mendirikan masjid, dan masjid-masjid itu masih berdiri hingga sekarang.
Di antara ke dua belas masjid yang beliau dirikan, masjid Segaf adalah yang pertama beliau bangun, dan yang paling sering beliau kunjungi hingga beliau wafat, sehingga lebih dikenal dengan julukan beliau: As-Saqqaff (Atap Para Wali). Seperti pangkat beliau diantara para wali pada waktu itu.
Arsitektur Masjid
Sebagaimana umumnya masjid-masjid kota Tarim, struktur masjid ini sepenunhnya menggunakan tanah liat tidak jauh berbeda dari masjid lain di kota ini dengan arsitektur khas ala Masjid Nabawi tempo dulu.
Ukurannya yang mungil hanya berkisar 200 M. persegi dan menaranya yang kecil tidak begitu tinggi semakin menambah kewibawaan masjid ini. Bagian dalamnya juga nampak sederhana dengan balutan kapur putih di setiap dindingnya, dan hamparan karpet hijau sederhana yang bermotif Mihrab di lantainya, sentuhan khas ala masjid klasik semakin menambah keanggunan masjid ini.
Sebenarnya masjid ini terdiri dari dua masjid, bagian kanan adalah masjid Bajabhan yang baru dibangun 400 tahun setelah masjid Segaff, sedangkan bagian kiri adalah masjid Segaff, karena jaraknya yang berdekatan kemudian kedua msjid ini disatukan hingga menjadi satu nama: Masjid Segaff
Dari arah timur terdapat dua pintu pendek yang berhadapan langsung dengan gang sempit, pintu sebalah kanan menuju masjid Bajabhan, sedangkan yang sebela kiri menuju masjid Segaff.
Jika kita mamsuk melalui pintu masjid Bajabhan, di dekat pintu sebelah kiri akan kita dapati Barrodah atau mesin air dingin untuk minum. Konon tempat tersebut dulunya adalah jabiyah (kolam kecil) tempat Syekh Abdurrahman as-Segaff mandi dan berwudhu’. Pada bagian luar masjid Bajabhan di sisi kirinya terdapat dua pintu menuju masjid Segaff, dari bagian dalamnya juga terdapat dua yang sama, pintu depan di Shaff pertama dan di Shaff tengah, di bagian masjid ini terdapat empat tiang besar
Sementara sebelah kanan masjid Bajabhan adalah kamar mandi dan Jabiyah, yang juga bisa dilalui dari bagian dalam masjid.
Di masjid Segaff sendiri sekilas nampak sederhana dari struktur bangunannya, hanya terdapat enam tiang besar di bagian depan dan tengah, dan tiga di belakang sisi kiri. Bagian tengah dan belakang masjid ini tidak beratap. di sisi pintu utama masjid ini terdapat satu menara kecil dan sebuah tangga menuju lantai dua yang berada di atas masjid Bajabhan dan Shaff bagian depan dan tengah masjid ini, yang biasanya digunakan saat acara Khatam di saat lantai bawah tidak sanggup menampung para jamaah. Lantai dua ini tidak beratap, hanya terpasang kipas dan lampu.
Ada satu pintu unik di masjid ini, tepatnya di ujung Shaff depan, pintu ini begitu kecil sehingga harus merunduk untuk melewatinya, dan hanya digunakan di saat acara-acara besar seperti Khatam di bulan Ramadhan dan bulan Syawal, di saat masjid tidak sanggup menampung para jamaah yang hadir, agar makmum yang berada di luar masjid shalatnya sah.
waktu itu masjid tidak lagi mampu menampung jamaah, sehingga para petinggi Habaib bermusyawarah membahas tentang renovasi masjid, namun diantara mereka tidak ada melakukannya karena wibawa Syekh Abdurrahman As-Segaff pendiri masjid. Di saat mereka tengah bingung tidak menemukan jalan keluar, Habib ‘Abdurrahman bin Muhammad bin Husain al-Masyhur yang saat itu sedang berdzikir di masjid, tiba-tiba beliau memukulkan tasbih beliau ke tembok tersebut, dengan satu kali pukulan tembok itupun bolong selebar satu untaian tasbih, lalu dibuatlah pintu kecil dari tembok tersebut.
Habib ‘Abdurrahman bin Muhammad bin Husain al-Masyhur adalah waliyullah Majdzub yang kebetulan seorang tunanetra, pengarang kitab monumental Bughyah al-Mustarsyidin, beliau juga menjabat sdbagai ketua mufti Tarim di kala itu, sehingga orang-orang merasa lega dan menemukan jalan keluar.
Kegiatan Masjid
Masid-masjid Tarim yang berjumlah ratusan tidak hanya difungsikan sebagai tempat shalat, tapi juga sebagai tempat belajar dan berlangsungnya kegiatan-kegiatan keagamaan seperti maulid dan Khatam. Masjid-masjid itu memiliki agenda dan kegitan rutin, baik itu tahunan, bulanan dan harian. Pun demikian dengan masjid ini, memiliki kegiatan rutin yang tidak pernah absen, meski di bulan bulan Ramadhan maupun hari raya.
Kegitan rutin harian masjid ini adalah tadarusan al-Quran bil ghaib/tanpa melihat, yang hanya boleh diikuti oleh para Hafizh yang berlangsung setelah Shalat Maghrib. Masjid ini juga dikenal dengan masjid “Ratib”, karena setiap malam senin dan kamis digelar  Hadhrah As-Saggaff yang sudah masyhur dan sudah berjalan lebih dari 600 tahun yang selalu sesak dihadiri oleh masyarakat Tarim maupun luar Tarim. Di masa penjajahan Atheis kegiatan rutin ini sempat fakum karena dilarang selama beberapa tahun, dan dihidupkan kembali oleh Habib Muhammad bin Alwi bin Umar al-Idrus atau yang dikenal dengan sebutan al-Habib Sa’ad (W 1432 H.). pada 21 Ramadhan 1400 H. bertepatan dengan malam perayaan doa’ Khatmil Quran yang biasa diselenggarakan di masjid ini setiap tahunnya dan terus bejalan hingga saat ini.
Sedangkan kegiatan tahunan adalah acara Khatam pada malam 21 Ramadhan, dan 8 Syawal. Kegiatan ini selalu ramai disesaki para jamaah yang hadir, baik itu orang Tarim sendiri maupun luar Tarim, seperti Seiun, Hauthah, dan daerah terdekat seperti Bur, Husaisah dan Masilaih serta para pelajar dari berbagai mancanegara terutama Indonesia. Para jamah sampai meluber ke jalan-jalan.
Keistimewaan Masjid
Berbicara tentang Tarim tidak ada habisnya, bagaimana tidak, napak tilas para wali agung masih begitu terasa, bahkan sampai sekarang masih banyak terdapat wali yang tidak nampak. Di Tarim Barokah dan Sirr tidak hanya bisa dijumpai di masjid-masjidnya, bahkan di jalanannya, tidak  mengherankan karena tidak ada sejengkal tanahpun di kota ini  kecuali telah dipijaki oleh kaki-kaki para kekasih Allah SWT.
Terlebih lagi bila kita membahas masjid-masjidnya, tempat di mana para kekasih Allah SWT. bermesra-ria denganNya, tanpa menghiraukan hiruk-pikuk dunia, bermunanjat agar tidak menimpakan petaka terhadap ummat Nabi Muhammad SAW. sudah tidak diragukan lagi keberkahan dan Sirrnya.
Syekh Abdurrahman bin Muhammad as-Saqqaf berkata tentang masjid ini: “Saya tidak membangun masjid-masjidku kecuali empat Imam berada di keempat sudutnya, dan Rasulullah SAW. di arah kiblatnya”.
Sebagaiman umumnya masjid-masjid yang didirikan oleh para Sayyid marga Ba’alawi, dan masjid-masjid kota Tarim, masjid ini juga memiliki kelebihan tentang arah kiblatnya yang betul-betul pas100% mengarah ke Ka’bah. 
Di masjid ini juga rutin diadakan Tadarus al-Quran Bil Ghaib yakni dengan tanpa melihat, Tadarusan ini hanya boleh diikuti oleh para Hafizh. Uniknya mereka tidak hanya hafal ayat-ayatnya, tapi juga hafal Hizib-Hizibnya (bagian di mana harus berhenti untuk dilanjutkan oleh peserta selanjutnya, atau yang lebih dikenal dengan Maqra’ kalau di Indonesia).
Kegiatan ini pertama kali dilaksanaka oleh Habib Idrus bin Alwi al-Idrus semenjak 40 tahun yang lalu, sewaktu beliau menjadi takmir masjid ini. Beliau bermimpi Syekh Abdurrahman bin Muhammad As-Saqqaf shalat dan mengimami beliau di masjid ini. Setelah salam Syekh Abdurrahman As-Saqqaf menyuruhnya untuk melaksanakan kegiatan taddarus al-Quran bil-Ghaib.
Pada malam senin dan kamis selalu digelar pembacaan Hadhrah Saqqaff dengan iringan tabuhan rebana disertai irama dengan nada khas Tarim yang membuat hati pendengarnya bergetar karena kekuatan Sirr yang terkandung pada setiap bat-bait syair yang disenandungkan.
Syarfiah Maryam putri Syekh Abdurrahman as-Saqqaf berkata: “Siapa yang mempunyai Hajat datanglah ke masjid ayahku pada malam Hadhrah dan berdiri di anatara tiang tempat biasanya ayahku duduk dan tempat orang-orang yang mendengarakan, lalu memohon kepada Allah SWT. agar mengabulkan hajatnya, Insya Allah hajatnya tersebut akan terkabul”.
Konon masjid ini tidak pernah sepi dari Rijalul Ghaib menurut kesaksian orang-orang Sholeh.
Jabiyah masjid ini meiliki kelebihan mengobati gatal-gatal. Pernah ada se-seorang yang tidak percayan dengan yang namanya Karomah dan barokah, atau bisa dikatakan dia terjangkit aliran W…..i. Orang ini Allah SWT. uji dengan penyakit gatal-gatal yang tidak bisa disembukan sehingga menjalar dan menyebabkan luka di sekujur tubuhnya.
Meski sudah berulang kali dia mendatangi dokter namun tidak hasilnya nihil, lalu ada salah satu orang soleh menyarankan agar dia mandi di kolam masjid Segaf, tapi orang ini enggan mengikuti petunjuknya, hari demi hari berlalu penyakitnya bertambah parah. Setelah dia putus asa diapun mencoba mengikuti petunjuk orang shaleh tersebut. Keesokan harinya dia dapati luka dan gatal-gatal yang menimpanya mengering dan sembuh perlahan. Berkat kejadian tersebut orang ini bertaubat dari kayakinannya tersebut.
Konklusi
Semua masjid pasti memiliki kelebihan dari tempat lain, di manapun itu, terlebih masjid-masjid yang selalu didatangi oleh orang-orang sholeh yang dekat dengannNya sehingga diangkat menjadi kekasihnya. Bagaimana tidak menjadi istimewa tempat-tempat di mana mereka bersimpuh menangis di keheningan malam. Bukankah kita dianjurkan berpindah tempat ketika melakukan Shalat Sunah agar tempat-tempat itu menjadi saksi kelak bahwa kita pernah shalat di situ. Begitupun para kekasih Allah SWT., mana mungkin tempat-tempat itu melupakan begitu saja kalau mereka pernah shalat di sana. Tempat-tempat itu seolah berbisik memamerkan diri: “wahai para makhluk, saksikanlah, kekasih Allah SWT. Fulan telah menempatiku untuk beribadah”. Inilah diantara kelebihan lain di kota para wali ini yang sangat jarang ditemui di daerah lain.