贺钦，字克恭，世代居于定海，父亲贺孟员，按军籍隶属辽义州卫。贺钦年少时聪慧，学习举子业每每轻视它说：“做学问就终止于此吗？”得到《近思录》阅读，有所省悟。成化二年凭进士（身份）被授予户科给事中。由于大旱向皇帝上书尽力规劝，又用言官旷废职守招来灾祸，自我检举请求辞职。适逢陈献章被征召来京，贺钦听他讲学，感叹说：“卓绝的品性不显现，最纯真的道理还被埋藏，社会即使用我，但我拿什么为社会所用呢？”当天就向皇帝上书解除官职离去，遵照弟子礼师事陈献章。已别后，画了陈献章的像供奉他。贺钦的学问专门研读《五经》、《四书》、“小学”，希望反过来要求自己履行，主张恭敬谨慎，用以收敛浮躁放荡的内心。有前来学习的，他总是推辞说：“我自己还没有学好，如何教导别人呢？”不久，跟随他游学的人很多，磨练激励，成就他们的才能学识。像这样十多年，虽然足不出户，然而听闻、仰慕他品德节操的达官贵人，没有不亲自来他坐榻前拜见的。

弘治改用新年号，由阁臣推荐，起用（贺钦）为陕西右参议。皇帝的诏书到来，他母亲恰好病故，于是上书恳请辞职。正德四年，太监刘瑾搜刮辽东田地，辽东百姓惊恐，思谋作乱。义州因为地方长官贪婪残暴，变乱先行发生，（作乱者）聚众抢劫掠夺，互相告诫说“不要惊扰了贺黄门”。贺钦听到后，前往告知他们说“你们是我的同乡，今天不幸走到这一步，然而我暗自替你们担忧，负责城防的军队不久就会到来，怎么办呢？”大家开始时声势盛大，到这时知道后悔了，环绕下拜并流泪呼喊：“我们的尚父啊，希望你教导我们。”贺钦说“只要不杀人，大祸可解。守臣激起变乱，可是百姓是无辜的，能停止杀掠而等待命令，还算得上是安分守法的百姓。安分守法的老百姓有什么害怕的呢？”一会儿，有人说负责城防的军队果真到了，大家又大声喧嚷：“贺黄门没有轻侮的言辞（似与上下文不谐，疑“嫚语”应为“谩语”或“漫语”）。”环跪在贺钦的里门旁。贺钦说：“我本来知道会是这样。城中像这样骚乱，负责城防的长官怎么会不发兵呢？兵虽然到了，你们没有杀人，一定会宽恕你们的，不要害怕。”大家散去，变乱于是平息。当时又有把诱杀诈称为战场抓获（冒功之举）的边关将领，上司查验不出实情，（那边关将领）一见到贺钦就马上惭愧地伏在地上说：“别人可以欺骗，我怎么敢欺骗贺先生呢？”贺钦极高的道德修养达到了感染改变别人的地步。

贺钦居家，增厚恩德情谊，端正人倫道德，厚待姻亲，亲善宗族乡党。冠礼、婚嫁、丧事、祭祀始终遵循古时的礼制，没有根据的话语丝毫不听，子孙后辈必定用孝悌的道理熏染陶冶。日日改变，月月教化，一乡人都乐于行善。乡里风俗沉溺于不正统的异端，办理丧事都作佛事，吃酒肉，及至奢侈越礼，不合法度，贺钦以自己的行动来作表率。贺钦晚年更加喜好《易经》，专心研究象数，手不释卷，大臣不断推举引见，最终没有被起用。年轻时曾隐居在医无闾山，因此用医闾自号，人们于是称他为医闾先生。