Pembelian tanah itu dilakukan setelah Panji 10 tahun bekerja di luar negeri. Dengan gaji dolar. Ia punya tabungan. Ditambah wakaf dana dari sekitar 20 orang sahabat aktivis lamanya. Salah satu sahabatnya itu adalah pendiri pondok pesantren Perenduan, Sumenep, Madura. Alumni Gontor juga.
Waktu bekerja di luar negeri Panji tidak membawa istri. Sang istri ditinggal di Banten. Punya anak-anak kecil. Perkawinan mereka tok-cer. “Sepuluh bulan setelah kawin saya sudah punya anak pertama,” ujar Syekh Panji.
Sang istri adalah aktivis HMI juga. HMI-wati. Disebut Kohati. Dia aktivis di IAIN Banten. Mereka bertemu di forum organisasi: sesama HMI.
Baca Juga:Zaytun GontorMendagri Kembali Tunjuk Lani Dwi Rejeki Sebagai Pj Bupati Batang
Di Banten, Panji sempat mengajar. Yakni di Madrasah Matla’ul Anwar. Kontaknya dengan sesama aktivis terjaga. Panji pun suatu hari dipanggil Moh. Natsir ke Jakarta. Bahasa Arab dan Inggrisnya bagus. Penguasaan ilmu agamanya tidak diragukan. Latar belakangnya sebagai aktivis sangat diperlukan.
Panji ditawari untuk bekerja di lembaga internasional: Rabithah Alam Islami.
Natsir, mantan ketua umum partai Masyumi, termasuk tokoh utama di lembaga itu. Nurcholish Madjid pernah mendapat gelar tidak resmi: Moh. Natsir muda. Demikian juga Prof Yusril Ihza Mahendra.
Di Rabithah Panji mendapat tugas sebagai kepala perwakilan lembaga itu di Malaysia timur. Di Sabah. Di Kota Kinabalu. Ia mendapat jatah setahun dua kali pulang ke Banten. Lalu sering ikut konferensi internasional.
Rabithah mempertahankan Panji pun setelah 10 tahun di Sabah. Begitu banyak orang Dayak yang masuk Islam selama ia di sana. Lalu Panji merasa cukup. Minta berhenti.
Panji ingin mengabdi di dalam negeri. Ia ingin mewujudkan mimpi-mimpi lamanya: mendirikan pesantren rahmatan lil alamin.
Pulang ke Indonesia ia mulai menjual gagasan madrasah seperti Gontor tapi tidak seperti Gontor. Banyak yang menolak gagasan awal Panji. Salah satunya Adi Sasono –menteri koperasi di zaman Presiden Habibie.
Ada 20 orang yang mendukungnya. Mereka menyumbangkan uang untuk membeli tanah di Gantar. Akadnya: wakaf. Didirikanlah Yayasan Pesantren Indonesia. Kalau saja Ibu Tien Soeharto tidak membangun masjid At-Tin, Panjilah yang akan pakai nama itu untuk pesantren di Gantar.