张苍是阳武人，史载他非常喜欢图书、乐津及历法。在秦朝时，他曾担任过御史，掌管宫中的各种文书档案。后来因为犯罪，便逃跑回家了。

秦末农民大起义，还是沛公的刘邦带军队经过阳武的时候，张苍就以宾客的身份投靠了沛公。但是，没有记载受到刘邦的重用。后来，张苍因为犯法背叛斩首，脱下衣服，伏在刑具上时，身体又高又大，同时还有一身如同葫芦籽一样肥硕白皙的皮肤，凑巧被大将王陵看见，王陵惊叹张苍长得好，一定不是一般人。因此，王陵就向沛公说情，赦免了他的死罪。就这样，张苍靠着一身好皮囊躲过了杀身之祸。

此后的张苍追随刘邦征战，至汉朝建立，被封为北平侯，食邑一千二百户。后又任御使大夫（相当于储相，丞相完蛋，御使大夫顶上）。至汉文帝时，丞相灌婴去世，张苍继任为丞相。

张苍对于曾经救过自己性命的王陵感恩戴德。等到张苍当了高官之后，经常把王陵当作父亲一般侍奉。王陵死后，张苍已经是丞相了，但是每逢五天一休假的时候，总是先拜见王陵夫人，献上美食之后，才敢回家。