Hudzaifah Ibnul Yaman sangat cermat dan teguh memegang segala rahasia mengenai orang-orang munafik selama hidupnya, sampai kepada seorang khalifah sekali pun.
Bahkan Khalifah Umar bin Khattab, jika ada orang Muslim yang meninggal, dia bertanya,"Apakah Hudzaifah turut menyalatkan jenazah orang itu?" Jika mereka menjawab "ada", maka Umar turut menyalatkannya.
Suatu ketika, Khalifah Umar bin Khattab pernah bertanya kepada Hudzaifah dengan cerdik,"Adakah di antara pegawai-pegawaiku orang munafik?"
"Ada seorang," jawab Hudzaifah.
"Tolong tunjukkan kepadaku siapa?" kata Umar.
Hudzaifah menjawab,"Maaf Khalifah, saya dilarang Rasulullah mengatakannya."