他沒有跟隨佛陀的時候已經辯才很厲害了，自己就有很多弟子跟隨（100人）。某天在大街上看到馬勝比丘（就是最初佛陀所度的5比丘之一），完全被比丘的威嚴形態所折服，就跑去問比丘，他的老師是誰，都教什麼樣的法。馬勝比丘說自己的老師是瞿曇（佛陀本名），教的法總結起來就四句：諸法因緣生，諸法因緣滅，我佛大沙門，常作如是說 （這個偈頌由幾個不同場合的變種翻譯，就是著名的緣起偈）。

舍利弗何等智慧，一聽就知道自己找對人了，馬上帶着自己的弟子們去跟隨佛陀了。

經典中常常會說佛陀弟子千二百五十人俱，其中1000人是摩訶迦葉三兄弟的弟子（摩訶迦葉當時是國師，手下弟子很多），100人是舍利弗的弟子，100人是目犍連的弟子，另50人是耶舍居士所帶的。再加上最初的5比丘，實際上是1255人。這是佛陀在一段時間內顯現上的說法對象。晚期據說人數增加到5000人左右。