十六岁时，净饭王就令太子结婚，娶的是邻国公主耶输陀罗。后来生下一个名叫罗睺罗的儿子。当罗睺罗出生时，太子叹气道：“罗睺罗有般奴。”意思是说“镣铐锁住了父亲的颈项”。

净饭王很爱太子，希望他继承王位，所以特别为他筑了“寒”、“暑”、“温”三时宫殿，挑选许多宫人美女服侍他，让他过着快乐的生活，但是悉达多太子性喜清净，他对于宫庭中声色喧嚣的生活，对这世间的富贵、快乐，却不感兴趣，甚至感到厌烦。他常思出门游历大自然的景状。

一日，他乘坐七宝轮车，从东门出游，看见一老人，伛偻曲背，手扶竹杖，举步艰难，有如蚁行。悉达多王子顿时有感于人生老苦，心生忧郁。

一日，他从南门出游，见一病人，面色痿黄，形容枯槁，气喘呻吟，痛苦万状。悉达多王子怜悯病人，心自忧怖。

一日，他从西门出游，见一死者，直挺僵卧，淤血流溢，臭积难闻，一家老小，号哭送之。悉达多王子又有感于心，惶恐苦闷。

又一日，悉达多王子出北门游玩，看见一出家之人，圆顶缁袍，相貌不俗，精神朗澈，威仪有度。那出家人告诉了他修行解脱之道。

还有一次，悉达多太子随着父王，到田野去游玩。看见农夫在耕田，上身没有穿衣服，在猛烈的阳光下晒着，全身是泥浆，大汗直流，气喘不息。耕牛颈上勒着绳子，皮破血流，还要受农夫的鞭打。犁过的泥土，翻出许多小虫，鸟雀飞来争着啄食。太子生起慈悲的同情心，觉得为了求生存，贫民是多么痛苦！而生命的互相争斗残杀，更是一幕大悲剧！尽管贵为太子，但他看见当时印度四阶级的不平等待遇，十分不满意。他便在大树下静静的思考：“首陀罗为什么做奴隶？难道他们不是人吗？应该怎样去救济他们，有什么办法，使他们过上自由平等的生活呢？”太子想得出神，几乎忘记了回宫。

通过游历四城，遇见老人、病人、死人的痛苦情形，又看到出家修士的快乐神情，因此左右思维，知道任何人都逃避不了老、病、死的痛苦，且一切众生为了求自己的生存，更做出种种罪恶，甚至不惜互相残杀，造成种种悲剧，结果还是向着老、病、死亡的路上走，这悲惨的生命界，这矛盾不合理的人生，应如何去解脱痛苦呢？王子想起出家人所说的修行之道，决计弃绝富贵享乐，刻意修行，以求解脱“老”、“病”、“死”之苦。