Azyumardi dilahirkan di Lubuk Alung, Padang Pariaman, pada tanggal 4 Maret 1955. Ayahnya bernama Bagindo Arikar, seorang tukang kayu, pedagang kopra dan cengkih. Sedangkan ibunya, Ramlah, berprofesi sebagai guru agama. Pendidikannya dimulai di Sekolah Dasar (SD) dekat rumah di kampungnya. Setelah itu ia melanjutkan ke sekolah Pendidikan Guru Agama (PGA) Negeri 6 tahun di Padang, seangkatan dengan Alm. Prof. Dr. Mestika Zed. Sejak d di bangku PGA kecerdasannya sudah kelihatan. Walau belajar di sekolah guru agama, ia adalah jago berhitung dan matematika.
Pada awalnya Azyumardi tidaklah bercita-cita menggeluti studi keislaman. Tamat PGA (1975), ia ingin meneruskan ke Institut Keguruan dan Ilmu Pendidikan (IKIP) Padang atau belajar sejarah di Universitas Andalas. Tetapi sang ayah menyuruhnya masuk ke IAIN. Akhirnya Azyumardi menentukan sikap, kuliah di IAIN di Jakarta. Pertimbangannya, kota metropolitan ini adalah tempat yang kosmopolitan dan sangat kondusif untuk menghirup udara intelektual. Maka mendaftarlah ia di Fakultas Tarbiyah IAIN (kini UIN) Syarif Hidayatullah.
Setelah itu, menurut pengakuannya, perjalanan hidupnya mengalir begitu saja, seperti air. Sikap intelektualnya pun bertumbuh alami dari awal seiring dengan komunitas diskusi yang dimasukinya. Ketika masih mahasiswa, komunitas intelektualnya adalah Forum Diskusi Mahasiswa Ciputat (Formaci), dan HMI komisariat Ciputat. Setelah itu meningkat ke LP3ES, bahkan sampai ke LIPI. Semasa mahasiswa ia juga menjadi Ketua Senat Mahasiswa Fakultas Tarbiyah IAIN Syarif Hidayatullah, dan Ketua HMI Cabang Ciputat.
Azyumardi lulus dari Fakultas Tarbiyah pada tahun 1982, dan meneruskan kegiatannya sebagai wartawan majalah Panji Masyarakat yang telah dilakoninya sejak masih mahasiswa. Di samping itu ia sempat pula bekerja sebagai peneliti di LKRN LIPI (1982-1985). Kedua kegiatan ini, wartawan dan peneliti, diakuinya menjadi modal baginya kelak di kemudian hari sebagai intelektual dan pemikir Islam yang sangat produktif menulis buku maupun esai dan kolom di berbagai media.
Sejak tahun 1985 Azyumardi menjadi dosen di almamaternya. Setahun kemudian, ia memperoleh beasiswa Fullbright Scholarship untuk melanjutkan studi ke Columbia University, Amerika Serikat. Dia memperoleh gelar M.A. (Master of Art) dari Departemen Bahasa dan Budaya Timur Tengah pada tahun 1988. Setelah itu ia juga memenangkan beasiswa Columbia President Fellowship dari kampus yang sama, tapi kali ini ia pindah ke Departemen Sejarah, dan memperoleh gelar M.A. kedua tahun 1989, serta mendapat gelar Master of Philosophy (M.Phil.) setahun berikutnya. Gelar Doktor (Ph.D) ia raih pada tahun 1992 dengan disertasi berjudul “The Transmission of Islamic Reformism to Indonesia: Networks of Middle Eastern and Malay-Indonesian Ulama in the Seventeenth and Eighteenth Centuries”.
Capaian Azyumardi ini tentu sungguh luar biasa. Dalam enam tahun di Amerika ia meraih empat gelar sekaligus dari satu universitas terkemuka. Kembali ke Jakarta tahun 1993, di samping mengajar ia mendirikan dan menjadi pemimpin redaksi Studia Islamika, sebuah jurnal untuk studi Islam, dan juga menjadi wakil direktur Pusat Pengkajian Islam dan Masyarakat (PPIM) IAIN Jakarta. Tapi hanya setahun, ia kembali melanglang buana. Selama tahun 1994-1995, dia mengunjungi Southeast Asian Studies pada Oxford Centre for Islamic Studies, Oxford University, Inggris, sambil mengajar sebagai dosen tamu pada St. Anthony College. Azyumardi pernah pula menjadi profesor tamu pada University of Philippines di Filipina dan Universiti Malaya di Malaysia (1997). Selain itu, dia adalah anggota dari Selection Committee of Southeast Asian Regional Exchange Program (SEASREP) yang diorganisir oleh Toyota Foundation dan Japan Center (1997-1999).
