他没有跟随佛陀的时候已经辩才很厉害了，自己就有很多弟子跟随（100人）。某天在大街上看到马胜比丘（就是最初佛陀所度的5比丘之一），完全被比丘的威严形态所折服，就跑去问比丘，他的老师是谁，都教什么样的法。马胜比丘说自己的老师是瞿昙（佛陀本名），教的法总结起来就四句：诸法因缘生，诸法因缘灭，我佛大沙门，常作如是说 （这个偈颂由几个不同场合的变种翻译，就是著名的缘起偈）。

舍利弗何等智慧，一听就知道自己找对人了，马上带着自己的弟子们去跟随佛陀了。

经典中常常会说佛陀弟子千二百五十人俱，其中1000人是摩诃迦叶三兄弟的弟子（摩诃迦叶当时是国师，手下弟子很多），100人是舍利弗的弟子，100人是目犍连的弟子，另50人是耶舍居士所带的。再加上最初的5比丘，实际上是1255人。这是佛陀在一段时间内显现上的说法对象。晚期据说人数增加到5000人左右。