悉达多将阿罗逻、迦兰两位仙人调伏（用一定手段制伏对手叫调伏，如对待柔弱的人用正常的方法使之顺服，对待强项的人用力量使之降伏）之后，又奔波跋涉，足迹几乎遍及全印度，希望能找到一位真正能够指引自己求取解脱之道的人，但是岁月荏苒，前途漫漫，他的希望在蹉跎的时光中变得愈来愈渺茫，转眼之间，五六年过去了，可是他的双手仍空空如也，他的头脑中仍没有将所要解决的问题求得明确解答，他的心由于不断失望而变得躁动不安。怎么办？是继续寻找得道者，还是中途而止？悉达多陷入茫然的境地中而无法自拔，每天每时，他都在苦苦地思索，都在寻求超越生死之海的答案，然而，他没有成功。
有一天，他突然明白过来，他目前这样四处寻仙访道，到处漂泊，只是浪费精力和时间，最后终究不会有任何结果，唯一的办法是从自身的修持中得到解脱的途径。所谓求人不如求己，一切法则都在自己的心念及修行之中。当他明白这个道理之后，他便前行进入尼连禅河的东岸，登上钵罗笈菩提山。在钵罗笈菩提山修行了一段时间，觉得这个地方不太安静，不是一个修道静坐的所在，于是悉达多渡过尼连禅河，进入摩揭陀国伽阇山苦行林，这个苦行林就是憍陈如等五人目前所居住的地方。憍陈如等五人遵奉国师的指示跟随悉达多太子东奔西走，尝尽风霜之苦，他们在太子身侧密切注视着太子的一举一动，当太子茫然而无所适从徘徊不定之时，他们就在这距太子不远的伽阇山中结集隐居起来。悉达多就这样最终来到伽阇山苦行林，在尼连禅河岸边静坐思维，观察众生本源所在。
悉达多通过观察思考，根据修行的步骤，计算下来，大约要在这里进行六年苦修才能得到成熟的根基和机缘，才能于此度脱生死大海，求得最高的真理至道。于是，悉达多就安下心来，决定在伽阇山中实行苦修。
悉达多静坐在伽阇山的苦行林中，耳边听到的是尼连禅河奔腾不息的逝水声，眼里看到的是葱郁的树林、苍翠的高原，心里感受到的是孤寂无边的天地，和悠悠不绝的生机。自然界的一切启发着悉达多，同时也让悉达多的心情平静下来。在伽阇山的树林底下，他静静地然而坚定地进入求取解脱的禅定世界中。禅定的修行是精勤勇猛的，是专心致志的，悉达多心身常寂，每时每刻都在用自己的智慧之光照澈一心本源。苦行一开始，悉达多就坚定地使自己清心净虑，严守戒律；同时，为达到苦行的效果，他还给自己订下了严格的饮食规律，每天规定只吃一麻一米（麻、米，不知确切意义，大约是佛陀开始修苦行时，一天吃一顿麻饭，一顿米饭，后来，渐次减少，改为一天吃一顿，或两天吃一顿，最后竟至七天才吃一顿饭，或麻饭或米饭。有的解释说是一粒麻一粒米，麻一说为芝麻，但一粒麻、一粒米绝不可能使人充饥，因此这种说法不可取），其余就不再进食别的食物。饥饿的煎熬并没有使悉达多中止自己的勤修苦练，禅悦的快乐使他完全忘记了自己的烦恼和苦楚。每天在进行禅定的观照中，悉达多都能得到无上的法喜充满，他的心里充满着欢欣和快乐，随着时光一天天过去，悉达多越来越感觉到智慧之神向他殷勤挥手致意了。花开花落，岁月未必有情；人去人亡，天地岂非无意？日复一日，年复一年，尼连禅河流水依旧如此湍急，伽阇山中草木依旧如此葱茏，悉达多庄严地端坐着，不停地思考着，六年漫长的岁月就这样在悉达多坚定不移的苦行中匆匆地流走了。
在这六年的岁月里，麻雀在悉达多头顶上做窝，芦苇和茅草缠绕住他的双腿，悉达多经历了人世少有的非常艰难的苦修，佛经里从此便留有佛陀“五载参访，六年苦行，雀巢筑顶，芦茅穿膝”的故事。
憍陈如等五人见到太子端坐思索，修极端的苦行，有时见到太子一天只吃一顿麻饭，有时一天只吃一顿米饭，后来渐至两日吃一顿米饭，最后竟至七天才吃一顿。当时，憍陈如等人也在修苦行，但太子的苦行比他们苦了许多倍，因此他们心中暗暗着急，为太子的苦行损坏健康而整日担忧。见到太子最后降到七天只吃一顿饭，实在想不到解决办法，于是，他们派出一人前往国师和大臣们所在的地方（当时，国师和大臣们因为没有能劝说太子回宫，无法复命，因此只好一面派遣憍陈如等五人暗中监视太子，一面自己在外面安顿下来，以待憍陈如等人的消息），将太子修苦行的情况详尽地报告给国师和大臣。国师和大臣们听说如此情况，心里更为着急，当即日夜兼程，回返王宫。
回到王宫时，国师和大臣们个个颜貌愁悴，身形萎熟，就像有人死了父亲，送葬已毕，强抑悲痛回归家中的样子。守门人赶快禀报净饭王：“国师和大臣们都回来了，已经在门外等候。”净饭王听到禀报，顿时血压加快，浑身颤抖，心情异常激动，竟至说不出一句话来。守门人知道国王之意，于是忙叫国师和大臣们进见。净饭王和国师和大臣们一见，悲痛无言，许久之后，方才开口问及国师：“太子是我的性命，现在太子不知在哪里，你们却独自回来了，难道我的性命还能保吗？”国师回禀净饭王说：“我们奉国王指令，前去寻找太子。途中见到了太子，太子却不愿回来……”国师和大臣们将如何劝说太子回宫，太子不肯听从，其意志有如须弥山一样坚固；又如何命令憍陈如等五人尾随太子，伺察太子行踪，以及伺机供奉太子；后来憍陈如五人中有一人回归报告说太子如何到了阿罗逻仙人和迦兰仙人的住处，并未停住，渡过恒河，路经王舍城，与频婆娑罗王说法，后来又来到伽阇山苦行林中，在尼连禅河岸边静坐思考，每天吃一顿麻饭、一顿米饭等细节一五一十地报告给了净饭王。净饭王听到如此情状，心中非常悲痛烦恼，浑身颤抖着对国师和大臣们说道：“太子就这样舍弃了转轮王位，舍弃了父母亲属相互恩爱的快乐，远在深山，修此善行。我为什么这样福薄啊，竟活生生地失去了如此珍爱的宝贝儿子！这真是国家的不幸啊。”净饭王当即将此消息转告给摩诃波阇波提以及耶输陀罗。同时，又命令臣下准备五百辆车子的物资，王后摩诃波阇波提以及耶输陀罗也准备了五百辆车子的辎重，所有生活上用得着的东西都准备得十分充足。净饭王将马夫车匿叫过来，对他说：“你以前将太子偷偷送了出去，使太子远放深山；现在我命令你将这一千辆的粮食辎重运送给太子，随时供养太子，不使他有一些缺乏。如果用完了，再回来装运。”
马夫车匿于是率领这一千辆装满粮食辎重的车队浩浩荡荡飞速向伽阇山奔去。一行来到苦行林中，见到太子形销骨瘦，整个身体就像是皮包着骨头，青筋纹起，血脉毕现，车匿顿时大为悲伤，竟至昏绝于地。许久苏醒过来，才头面礼足，含泪对太子说：“大王日日夜夜忆念太子，不知太子情况如何。现在，派遣我运载这千辆粮食辎重给太子，请太子收下。”悉达多太子见到车匿，无喜无悲，对于车匿送来的粮食辎重也没有接受之意，他对车匿说：“我违背了父母的意愿，舍弃了国土，远道来到这里修习苦行，是为了求得至高无上的道。我怎么还会再接受这些粮食辎重呢？”车匿听到太子不接受粮食辎重，心里急得像热锅上的蚂蚁，但他知道太子说过的话是不再收回的，他想，“太子现在既不肯收下这粮食辎重，我也不能回去了，就叫别人领着这一千辆粮食辎重回到王宫去，我就在这里日夜奉事太子吧。”车匿想到这里，当即便差派一人领着这车和粮食辎重返回原路。车匿从此就在这苦行林中侍奉着太子，相伴晨昏。