Umar r.a.hu selepas ia memeluk agama Islam, menjadi kebanggaan orang-orang Islam dan musuh ketat kafir-kafir musyrikin tetapi sebelum itu dia menentang Nabi Muhammad s.a.w. dan mengganggu orang-orang yang menganuti Islam. Dalam suatu mesyuarat orang-orang Quraish, pada suatu hari mereka telah memutuskan hendak meminta salah seorang daripada mereka supaya membunuh Nabi Muhammad s.a.w.
Umar telah tampil kehadapan sebagai sukarelawan yang ingin mengusahakan pembunuhan itu. Tiap-tiap Quraish yang menghadiri mesyuarat itu berkata serentak"Ya, engkaulah yang dapat melakukannya,Umar!"
Dengan pedang yang bergantungan dilehernya, Umar pun mengarahkan langkah menuju ketempat kediamanNabi Muhammad s.a.w. Dalam perjalanannya ia telah menemui Saad bin Abi Waqqas. Saad berkata: "Kemana kau, Umar?"Umar menjawab: "Aku hendak pergi menamatkan riwayat hidup Nabi Muhammad " Saad: "Kalau begitu Banu Hashim, Banu Zuhrah dan Banu Abdi Manaf akan membunuh kamu sebagai tindakan balas."Umar(gelisah dengan amaran itu) berkata: "Nampaknya kau juga telah meninggalkan agama nenek moyang kau. Biar aku kerjakan kau dahulu."
Umar dengan serta merta menghunus pedangnya. Sambil mengistiharkan pengislamannya Saad juga berbuat demikian. Sebelum bertarung dengan Umar sempat juga berkata:"Lebih baik kau menguruskan rumahtangga kau dahulu. Saudara perempuan kau dan iparkau, kedua-duanya telah memeluk agama Islam"
Kemarahan Umar ketika mendapat cerita itu tak dapat diceritakan lagi. meninggalkan Saad, dia menggerakkan langkahnya kearah rumah saudara perempuannya. Setibanya dirumah itu dia dapati rumah itu telah berkunci dari dalam. Sambil mengetuk-ngetuk pintu itu dia menjerit dengan sekuat tenaga kepada saudaranya supaya pintu itu dibuka. Mendengar suara Umar, Khabbab telah lari bersembunyi meninggalkan masyaf-masyaf Quran yang sedang mereka baca. Apabila pintu dibuka Umar dengan cepat menempeleng saudaranya sambil berkata:"Hai pengkhianat dirimu sendiri, engkau juga telah meninggalkan agamamu."
Tanpa menghiraukan kepala saudaranya yang berdarah, dia masuk kedalam sambil bertanya: "Apakah kelian sedang buat tadi dan siapa dia orang yang suaranya aku dengar dari luar?" Iparnya menjawab:"Kami hanya berbual-bual." Umar bertanya kepada iparnya "Adakah kamu juga telah meninggalkan agama nenek moyang kamu dan memeluk agama baru?" Ipar Umar menjawab:" Bagaimana pula agama baru itu lebih baik dari agama kita yang lama itu?" Jawapan itu menyebabkan Umar memukul dengan kejam dan menarik-narik janggutnya. Saudaranya yang datang hendak melerai mereka juga dipukul sehingga mukanya berlumuran dengan darah. Sambil menangis saudara perempuannya berkata:"Umar! kami dipukul hanya kerana kami memeluk agama Islam. Kami berazam hendak mati sebagai orang-orang Islam Kau bebas melakukan apa saja yang kau suka atas diri kami."
Apabila hatinya sejuk sedikit dia berasa malu atas perbuatannya terhadap saudara perempuannya itu. Tiba-tiba ia terpandang akan masyaf-masyaf yang ditinggalkan oleh Khabbab tadi. Katanya:"Baiklah, tunjukkan masyaf-masyaf ini." "Tidak," kata saudaranya.: "Badan kau tak bersih dan orang yang tak bersih tak seharusnya memegang masyaf-masyaf ini." Umar akhirnya membersihkan badannya dan mula membca masyaf-masyaf tadi. Surah yang dibacanya ialah SURAH TAHA.Dia membaca dari permulaan surah itu.Seluruh sikap dan pandangannya berubah apabila ia sampai ke ayat yang bermaksud:
"Akulah Allah. Tidak ada Tuhan melainkan Aku. Oleh itu sembahlah Aku dan dirikanlah sembahyang buat mengingati Aku."
Kata Umar: "Baiklah, bawa aku bertemu dengan Muhammad "
Mendengar kata-kata Umar itu Khabbab pun keluarlah dari tempat persembunyiannya sambil berkata:"Ya Umar, ada berita baik untuk kamu. semalam (iaitu malam Juma'at)Nabi Muhammad s.a.w. telah berdoa kepada Allah s.w.t..: "Ya Allah, kuatkanlah Islam dengan Umar atau Abu Jahal, siapa yang Engkau suka.".Nampaknya Allah s.w.t. telah memilih engkau sebagai menunaikan permintaan Nabi Muhammad s.a.w.
Umar telah menemui Nabi Muhammad s.a.w. dan pada pagi Juma'at dia telah memeluk agama Islam Pengislaman Umar merupakan merupakan suatu pukulan yang hebat kepada puak musyrikin. Sungguh pun begitu bilangan orang Islam terlalu kecil kalau dibandingkan dengan bilangan puak musuh. Kafir-kafir musyrikin telah memperhebatkan usaha-usaha mereka untuk menghapuskan orang-orang Islam serta agama mereka. Dengan Islamnya Umar, kaum Muslimin telah bertambah berani dan sekarang mereka mendirikan sembahyang di Baitul Haram. Kata Abdullah bin Masud: "Pengislaman Umar merupakan suatu kejayaan besar kepada kaum Muslimin, perpindahannya menguatkan kami dan perlantikannya sebagai Khalifah merupakan suatu keberkatan kepada kami.:"