Anjuran gurunya direspon dengan baik, di samping memang dalam diri Lora Zainal memang tertanam kecintaan terhadap ilmu yang sangat tinggi. Atas seijin ibunya, Nyai Aisyah, berangkatlah Lora Zainal menuntut ilmu ke pondok pesantren Syaikhana Kholil Bangkalan. Sebagai konsekwensi dari keinginan itu, beliau mencerai istrinya terlebih dahulu agar terhindar dari dosa sebab tidak memenuhi nafkah lahir batin di masa-masa perantauannya mencari ilmu.
Kedua, pondok pesantren Syaikhana Kholil Bangkalan. Di pondok ini semangat Lora Zainal semakin membara apalagi pilihan ini bukan pilihan sendiri, tapi anjuran Kiai Imam Karay. Pastinya, perintah Kiai Imam bukanlah sembarangan, tapi mempertimbangkan kealiman dan kewalian Syaikhana Kholil yang masyhur dizamannya. Berbekal uang dua setengah sen pemberian ibunya, Lora Zainal meninggalkan desa Tarate Sumenep menuju kota Bangkalan dengan penuh tawakkal dan kesabaran agar perjalanannya diridhai oleh Allah SWT. serta benar-benar diberi kemudahan dalam menuntut ilmu, sekaligus berharap keberkahan keada Syaikhana Kholil.
Dengan bekal yang sangat terbatas, Lora Zainal memilih jalan kaki menapaki jalan yang tidak ramai seperti sekarang. Ketika sampai di desa Aengdake Bluto Sumenep, beliau membeli ketela pohon rebus dengan harga setengah sen untuk membantu kebutuhan makan di jalan. Lantas melanjutkan perjalanan dengan penuh semangat dan tekad bahwa mencari ilmu harus penuh kesungguhan, jangan terganggu oleh ekonomi yang terbatas. Kesungguhan dan tirakat dalam mencari ilmu akan mengajarkan orang fokus pada impian, tidak terlalu banyak terganggu oleh ha-hal duniawi. Karenanya, tekad bahwa Tidak akan memperoleh ilmu kecuali dengan bersusah payah (la tarum ilman wa takruka al-ta’ab), telah menjadi keyakinan dalam dirinya sehingga beliau tetap kondisi agar tetap semangat.
Setelah sampai di Bangkalan, Lora Zainal sowan kepada Syaikhana Kholil untuk mengaturkan maksud dan tujuannya hingga akhirnya diterima sebagai santri. Meskipun dalam banyak cerita, sosok Syaikhana Kholil sangat unik dalam menerima calon santri dan berbeda-beda sikap sesuai kapasitasnya. Di pesantren ini, Lora Zainal belajar banyak ilmu kepada Syaikhana Kholil dengan capaian yang luar biasa. Kesungguhan dan dan tirakat Lora Zainal dalam belajar menjadi jalan kemudahan untuk menangkap dan memahami petuah-petuah gurunya, Syaikhana Kholil, ketika menjelaskan maksud dari kitab kuning yang dibaca hingga akhirnya Kiai Zainal menguasai beragam ilmu keislaman.
Di Pondok ini, Lora Zainal dikenal sebagai santri yang mempunyai ilmu sagaran, yakni santri yang memiliki kemampuan menguasai berbagai ilmu dengan baik. Karenanya, beliau menjadi rujukan banyak santri dalam menanyakan pelbagai persoalan dengan beragam disiplin. Menariknya, di pondok ini juga, Lora Zainal juga dinikahkan oleh Syaikhana Kholil dengan santriwati, yang bernama Siti Aminah. Tidak begitu lama, setelah memandang kemampuannya sangat baik, Syaikhana Kholil memaksa agar Lora Zainal kembali pulang bersama Istrinya ke Tarate Sumenep.
Dari proses belajar di pondok pesantren Syaikhana Kholil, nama lora Zainal Abidin dan istirinya, Sitinah Aminah dikenal dengan sebutan KH. Zainal Arifin dan ibu nyai Hj. Hatijah setelah menunaikan ibadah haji. Di Tarate Sumenep, Kiai Zainal bersama istri memulai proses baru dengan menjadikan tradisi pesantren sebagai jalan perjuangannya sebagaimana diwariskan dari sang ayah Kiai Thalabbudin dengan mendirikan pondok pesantren Tarate Sumenep sekitar tahun 1898. Dari pesantren ini, beliau menularkan gagasan dan berkomunikasi dengan masyarakat luas untuk menyebarkan ilmunya sebagai ladang dakwah, sekaligus memberikan solusi terhadap problem-problem kemasyarakatan dan kebangsaan.
Berdakwah Sambil Berjuang
Kiai Zainal Arifin, selanjutnya dikenal sebagai pemimpin pondok pesantren Tarate Sumenep. Kesehariannya lebih banyak di pesantren dengan mengajarkan beragam kitab kuning kepada santri dan masyarakat, misalnya tentang ilmu tauhid, fikih. akhlakul karimah hingga ilmu alat dengan sistem yang masyhur di pesantren, baik sorogan atau bandongan. Aktivitas ini dilakukan dengan istiqamah sebagai jalan dakwahnya untuk mengenalkan Islam kepada masyarakat, sekalipun tidak berharap banyak balasan ekonomi dari proses mengajar yang dilakukannya.
Selebihnya, khusus pada malam hari beliau mengamalkan bacan-bacaan khusus yang biasa dibaca oleh penganut tarekat Naqsyabadiyah. Menurut riwayat sanad ketarekatan Kiai Zainal diperoleh melalui proses baiat dari Syaikh Abdul Adhim dari Bangkalan (W. 1335 H/1916M), salah satu khalifah tarekat Naqsyabadiyah yang sangat dikenal baik di Madura, bahkan di Makkah. Dari Syaikh Abdul Adhim penganut tarekat meluas di berbagai wilayah di Madura. Perlu diketahui bahwa Syaikh Abdul Adhim memperoleh sanad tarekat dari Syaikh Muhammad Shaleh al-Zawawi al-Makki.
Penjelasan ini bisa dipahami bahwa Kiai Zainal Tarate adalah penganut tarekat yang sangat istiqamah, sekaligus pengamal syariah yang sangat kuat. Tarekat dan syari’ah telah menjadi jalan hidupnya, bahkan beliau sangat menolak keras bila menemukan pelaku tarekat yang meninggalkan syariah dengan cara mengajak dengan lemah lembut agar sadar dan kembali kepada jalan yang diperintahkan oleh Allah dan rasul-Nya. Hal ini pernah dilakukan kepada salah satu Kiai yang mengamalkan ajaran “Solok”, yang salah satu ciri khas ajarannya adalah meninggalkan sholat. Untuk merespon ajaran ini, Kiai Zainal mengajak berdialog secara lembut di masjid pesantren dengan kiai tersebut hingga akhirnya kiai pengamal ajaran “solok” sadar kembali dan mengerjakan sholat sebagaimana biasa.