수일 후 라마는 다시 사각형의 10층 흰탑을 쌓도록 지시하며 이를 완성한 후에 진리를 가르쳐 주겠다고 언약했다. 이에 밀라레빠는 항상 자신을 위로하고 격려해주던 마루빠의 부인을 증인으로 내세웠다. 밀라레빠가 또다시 명령받은 사각형 탑의 이층을 올릴 무렵 마루빠는 탑을 이리저리 살피더니 마루빠의 다른 제자들이 날라다준 주춧돌을 지적하고 이를 끄집어내라고 했다. 그는 주춧돌을 빼내기 위해 쌓은 탑을 다 허물 수밖에 없었다.

탑이 거의 완성될 즈음 밀라레빠는 법회에 참석해 스승에게 은혜를 베풀 것을 청하지만 오히려 마루빠는 버럭 화를 내며 그의 머리카락을 잡아끌고 발길로 걷어차서 밖으로 내쫓아버렸다. 스승은 지시한 9층 탑과 법당과 회랑을 완성해도, 존모가 준 구슬을 공물로 바쳐도, 눈물로 자신의 죄과를 뉘우쳐도 은혜는 커녕 무섭게 노려보며 후려칠 기세만 보일 뿐이었다. 험악한 표정의 스승 앞에서 밀라레빠는 구원의 진리를 얻지 못한 채 살아가기 보다는 차라리 죽는 것이 낫다고 생각하며 괴로워했다.

자신의 불행한 운명을 한탄하고 자결을 결심하고 있을 때 밀라레빠는 스승의 부름을 받았다. 그리고 드디어는 스승이 알고 있는 모든 교리와 관정을 받고 지혜의 어린 나뭇가지가 마음에서 쑤욱쑤욱 자랄 때까지 수년간 스승 밑에서 자성(自性)을 계발시키며 참다운 명상을 즐기게 되었다.

모든 속세와의 인연을 끊은 밀라레빠는 마루빠 스승이 말했던 성스러운 수행터 다까루 단의 암굴로 들어갔다. 그는 “진리를 체득하지 못하고 일생을 지내느니 보다는 차라리 죽는 편이 나으리라. 싯디(비밀한 힘)를 성취하지 않고서는 결코 이 자리를 떠나지 않을 것, 이 서원이 깨뜨려진다면 오, 신앙의 수호신들이시여, 원컨대 이 생명을 끊어 주옵소서. 그리하여 내생에서는 부처님과 선지식의 자비로 정법에 인도하여 주시고 도를 닦음에 있어 온갖 장애를 극복할 수 있는 굳센 힘과 지성을 갖추도록 가피하여 주소서!”라고 서원하였다.

밀라레빠는 식량이 떨어지자 쐐기풀을 먹어가며 끊임없이 명상을 계속했다. 그렇게 4년이 지나자 입고 있던 옷이 다 해져서 보리자루로 몸을 두르고 추위를 막으며 정진하는 그를 우연히 발견한 몇몇 사람들은 그의 귀신같은 몰골에 처음에는 놀라 달아나지만 수행자로서의 그의 고행을 알고 깊은 존경심을 일으켰다. 밀라레빠는 그들에게 다섯 가지 즐거움이란 시를 들려주었는데 그 뒤 사람들은 축제 때마다 이 노래를 함께 부르곤 했다.

한편 누이 빠다는 밀라레빠의 소식을 듣고 찾아오지만 오빠의 움푹 패인 눈, 앙상하게 드러난 뼈, 푸르스름한 녹색 피부, 바짝 오그라든 근육, 헝클어진 머리에 넋을 잃고 울부짖는다.