第二，就是金日磾在汉武帝身边从不乱说话。汉武帝处理朝政的时候金日磾伺候在旁边，因此汉武帝经常就一些朝政问题询问金日磾的看法。而金日磾基本上都是顺着汉武帝的意思回答，并且从不胡乱发表意见，这样的近臣自然深受皇帝喜欢。第三就是金日磾有个好母亲。汉武帝认为，金日磾之所以这么听话懂事，主要是因为家教好。而金日磾的父亲死的早，那金日磾的家教自然都是他目前教导的，因此汉武帝觉得金日磾的母亲阏氏功不可没。金日磾的母亲阏氏生前也深受了汉武帝刘彻的敬重，死后汉武帝刘彻更是下诏在甘泉宫给阏氏立了雕塑和画像，题名为“休屠王阏氏”。金日磾每次见到自己母亲的画像就会想起昔日母亲的教导和汉武帝对自己的恩宠，于是痛哭流涕的跪在画像前下拜后才会离开。金日磾这样做更让汉武帝觉得金日磾是个知恩图报的人，于是更加喜爱金日磾，甚至达到了爱屋及乌的地步。公元前87年，七十岁的汉武帝卧于病榻之上，已是气若游丝。他最后拿定主意，把小儿子刘弗陵立作太子。刘弗陵才8岁，肯定没法亲自处理政事。所以，得给他找几个辅佐他的大臣。首先得找个辅政大臣的头儿。汉武帝一开始看上的，是他爱将霍去病的弟弟霍光。霍光表示推辞，说不敢领受。汉武帝的第二个人选，竟然是来自匈奴的金日磾。然而，金日磾不肯接受。他言辞坚决地表示：我是匈奴人，咋能做汉朝的首席辅政大臣呢？再说了，陛下您这样安排，会让匈奴人小瞧汉朝的，恳请陛下把这命令收回去。每一个字、每一句话，全是替汉朝考虑的。最后，汉武帝刘彻把霍光列为辅政大臣之首，而金日磾还是依旧当副手，他俩可都是这位皇帝陛下四大托孤大臣之一。汉武帝刘彻这位千古一帝干完了这件事情后，据说第二天就去世了。
得承认，汉武帝刘彻这做法，那可真是够大胆的，压根儿就不担心金日磾会有啥别样心思。由此可见汉武帝刘彻对金日磾的信任，金日磾对汉武帝刘彻的忠诚，这两者是相互促成的。汉武帝刘彻在遗诏中，一方面是为了嘉奖金日磾当年勇斗莽何罗的功绩，另一方面是为了提升托孤大臣的地位，将金日磾封为秺侯。可金日磾觉得小皇帝岁数小，自己不能接受封赐，就给回绝了。实际上，汉武帝刘彻的四大托孤大臣里，霍光、上官桀都被汉武帝在遗诏中封了侯，他们也没啥顾虑就接受了。说金日磾因为皇帝年少这个理由，那是说不通的。他不敢接受封赏，主要是怕自己太显眼了。要知道，四大托孤大臣中，桑弘羊还没被封侯呢。另外，这4个人里就他的身份比较别扭，其他3个都是汉人，而他却是匈奴人。金日磾并未因汉武帝刘彻驾崩、新皇帝年少就有半点儿放松。汉武帝刘彻去世后，金日磾一直兢兢业业的辅佐汉昭帝刘弗林。也可能是因为汉武帝的去世让金日磾饱受打击，身体状况越来越差，最终在汉武帝去世一年之后，金日磾也不幸去世，享年49岁。在金日磾病情严重的时候，霍光又向汉昭帝刘弗陵上奏，恳请给金日磾封个侯，还在金日磾的病床前宣读了皇旨。这回，金日磾总算点头同意了。毕竟，这侯爵是能传给儿子的。他亲手把长子杀了，次子跟汉昭帝岁数相仿，也就十岁上下。金日磾快不行了，他要是没了，家里没了主心骨，儿子还小，要是有个爵位，日子能好过多了。金日磾小心谨慎了一辈子，这会儿总算能给家人好好谋划一下了。而在封侯后的第二天，金日磾便没了。汉昭帝为他举行隆重的葬礼，下了命令赐给安葬器具及坟地，派轻车介士为他送终，让他陪着汉武帝刘彻葬在茂陵。
据说葬礼那天汉昭帝用来为他送葬的队伍排列直到茂陵，并又赐谥号为敬侯。在汉朝，能给帝陵陪葬，那可是极大的荣耀呢。军事送葬那可是特别荣耀的事儿。在给汉武帝陪葬的功臣当中，能有军士送葬这种待遇的，就三个人。除了金日磾，剩下的那俩是霍去病、霍光兄弟。一个匈奴人，能在汉朝达到这种地步，真是让人难以置信啊。特别让人想不到的是，金日磾的后人，把他的谨慎、低调给继承下来了，他们家的爵位一直传到王莽那时候，最后被王莽给整没了。班固在《汉书》中说金日磾的家族“世名忠孝，七世内侍”。你可能想不到，这个家族第一代的起家者，竟然是匈奴人。历史上对金日磾的评价向来很高，甚至被称为中国历史上贤臣的代表。而金日磾能在西汉称为官场不倒翁，无非靠的就是两点：谦虚谨慎和忠心。因为谦虚谨慎，使得他为官几十年从未犯错，因为忠心，让他深得汉武帝刘彻信任，这也是他两千多年来饱受追崇的原因。话说回来，汉武帝刘彻一直都敢用人，也擅长用人。奴隶出身且没带过兵的卫青，头回打仗就成了车骑将军，率一万兵马，与李广那等老将分别独立出征。才二十岁的霍去病，能做骠骑将军独自领军，一年三次征战河西。没当过丞相之类高官的霍光，能成为托孤大臣之首，掌控朝政。匈奴王子金日磾，能常伴汉武帝左右，备受宠信，最后也成了汉朝托孤大臣。要是没遇上汉武帝，卫青和霍去病或许得一步步慢慢来，霍光兴许一辈子当不了托孤大臣，金日磾没准就得养一辈子马。要是汉武帝没重用他们，那他也不可能有这么大的成就，名声也不会这么棒。这般君臣，那也真的算是彼此之间相互成全，心照不宣了。这样的皇帝能够遇上这样的臣子，也算是中国历史上值得称道的一件事。
金日磾墓，位于陕西省兴平市南位镇道常村西北，霍去病墓东侧，约100米处。形状圆形，高为11.93米，东宽41.2米，西宽41.9米，南长35.5米，北长36.3米，封土18748立方米。占地面积1479.08平方米。金日磾去世多年以后，班固《汉书》：“金日磾夷狄亡国，羁虏汉庭，而以笃敬寤主，忠信自著，勒功上将，传国后嗣，世名忠孝，七世内侍，何其盛也！本以休屠作金人为祭天主，故因赐姓金氏云。”陈普则评价他“牵马胡儿共拥昭，同功同德不同骄。麒麟阁上尘埃面，羞见芬芳七叶貂。”历史学家林同则讲“牧马一胡儿，如何却受遗。多因汉宫里，泣拜画阏氏。”王夫之《读通鉴论》：“金日磾，降夷也，而可为大臣，德威胜也。武帝遗诏封日磾及霍光、上官桀为列侯，日磾不受封，光亦不敢受。日磾病垂死，而后强以印绶加其身。日磾不死，光且惮之，况桀乎？桀之逆，日磾亡而光受其欺也。霍光妻子之骄纵，至弑后谋逆以亡其家，无日磾镇抚之也。光之不终，于受封见之矣。日磾没，而光施施自得，拜侯封而若不及，早已食上官桀之饵，而为其所狎。利一时之荣宠，丧其族于十年之后，‘厉熏心’，鲜不亡矣。光之咎，非但不学无术也；利赖之情浅，虽有憸人与其煽妻逆子，恶得而乘之？若日磾者，又岂尝学而有他术哉！”金日磾虽然在汉武帝刘彻时期同朝与刘从戎、卫青、霍去病、公孙贺和胶东康王刘寄等人为官，但刘从戎等人却与他平时并没有太多的交集。但刘从戎等人素来晓得金日磾的为人处事的原则，而金日磾也仰慕刘从戎等人的才学、胆识和谋略。倒是刘从戎的夫人吕幼兰因为长期在长安宫廷内走到，和金日磾很是相熟。而金日磾也因此到刘从戎的定国公府上做过客，即便后来刘从戎因为丞相李蔡自杀一事与汉武帝刘彻闹翻辞去了主要的官职，金日磾谈起刘从戎时依旧是很是钦佩。