张华的名望在当时也就越来越高，人呢也就越来越厉害。直到最后都有些功高震主的感觉了。当时的武帝诏书诰文，都是张华起草的，他的声望名誉更加显赫，有任宰相（三公）的威望。而荀勖认为自己出身大族，凭着武帝对他的宠信，憎恨张华，常想伺机将张华调到外镇任职。适逢武帝问张华：“国家大事以后可以寄托给谁？”张华回答说：“才德兼备而又与陛下是至亲的，不如齐王司马攸。”此话与武帝的本意不符，荀勖离间张华的阴谋得逞，外调他为持节、都督幽州诸军事，又兼任护乌桓校尉、安北将军。张华在任内招抚接纳新归附的人，各族百姓都感念他的恩德，马韩、新弥等依山傍海，远离幽州、历代都不曾归附的二十多个国家，都遣使朝贡。当时幽州遥远的少数民族臣服，边疆安宁，粮食连年丰收，兵马强壮。不久，武帝征召张华为太常，因为太庙屋梁折被免官。从此，张华在武帝在位期间，一直以列侯的身份朝见。

后来晋惠帝上位，贾南风祸乱朝纲。当时贾南风将要废黜杨太后（武悼皇后杨芷），群臣都害怕贾南风，只有张华敢说两句公道话。可惜没啥用。同年，楚王司马玮受密诏杀害太宰汝南王司马亮、太保卫瓘等人，当时内外兵乱繁起，朝臣都感到恐惧，手足无所措。张华告诉惠帝说：“司马玮矫诏擅自杀害二公，将士仓促行事，认为是国家旨意，所以才听司马玮的。现在陛下可以派特使持幡让外军解除戒严，事件就可平息。”惠帝采纳了张华的意见，司马玮果然兵败。等到司马玮被杀后，张华因首先献谋有功，被拜为右光禄大夫，开府仪同三司、侍中、中书监，佩戴金印紫绶。张华辞去开府仪同三司之职。

贾谧与贾后共同商量，认为张华出身庶族，儒雅有谋略，往上没有威逼君主的疑虑，往下又是众望所归，打算依靠他总摄朝政，大事咨询于他。但还是犹豫未决，于是询问裴頠的意见，裴頠平时很尊重张华，非常赞成此事。张华于是受到重用，他尽忠国事，辅佐朝政，弥补缺漏，尽管在惠帝昏弱贾后残暴肆虐的时候，但天下仍然安定，这都是张华的功劳。张华怕贾后亲族势力强盛酿成灾祸，于是创作了《女史箴》来讽劝。贾皇后尽管性格凶暴嫉妒，但还是敬重张华。几年后，朝廷追论张华前后的功勋，晋封他的爵位为壮武郡公。张华推让十几次，惠帝下诏敦促开导，张华这才接受。元康六年（296年），张华接替已去世的下邳王司马晃为司空，兼管修史之事。而贾南风在废除太子司马遹的时候，又是只有张华出来说的公道话，不过依然没什么用。

最后的时候，赵王司马伦乱政。因为张华和司马伦的关系不咋地。最后司马伦上位。张华在前殿马道南处被杀，又夷灭其三族，终年六十九岁。张华的死使得朝野震动。太安二年（303年），惠帝下诏为张华平反，恢复张华侍中、中书监、司空、壮武郡公、广武侯县的官爵以被没收的财产、印绶、符策，派使者专门吊祭。

张华除了在政治上的建树以外。在劝勉荐拔人才上也从不厌倦。即使他们身份穷贱，从事杂役之类的工作，但只要有一技之长、些许之善，张华便赞叹称道他，使他们的声誉得以传播。比较有名的例如《三国志》的编纂者陈寿，东吴陆逊的后代陆机兄弟。

在文化上张华工于诗赋，词藻华丽。编纂有中国第一部博物学著作《博物志》。《隋书·经籍志》有《张华集》十卷，已佚，明人张溥辑有《张茂先集》。张华雅爱书籍，精通目录学，曾与荀勖等人依照刘向《别录》整理典籍。《宣和书谱》载有其草书《得书帖》及行书《闻时帖》。

虽然张华被夷三族，但是他还是有一个儿子逃脱了出去，后来开枝散叶。在五胡十六国以及南北朝的时候都有着很高的位置。而唐朝很有名望的张九龄就是张华的第十四世孙。