洪武初年的一天，朱元璋想免去李善长的丞相职务，但又拿不定注意，想征求刘基的看法。刘基回答说：“李善长是陛下的勋旧，有很高的威望，他在位能很好的调和各位将领，是丞相的合格人选”。朱元璋听后奇怪的问：“李善长素来与你有恩怨，你还替他说话？”刘基回答说：“换丞相就是换大厦的柱子，必须是栋梁之才才行，如果用几根小木头捆在一起充当柱子，即便换上去也会马上倒下。”朱元璋觉得刘伯温的话很有道理，但又不放心让一个功臣勋将长期担任相位。

不久，李善长辞去相位，朱元璋想让杨宪接任。与刘基商量，刘基和杨宪私交很好，但不赞成。他说：“杨宪有当丞相的才能，但缺少当丞相的气量。当丞相应持心如水，以礼仪为处事标准，不能存在私心，杨宪不是这样的人。”朱元璋问王广洋如何。刘基说也不行，他比杨宪的气量更小。又问胡惟庸，刘基回答说：“更不行，为相好比驾车，胡惟庸非但驾不好，恐怕连辕木都会被他毁掉。”朱元璋见刘基接连否定了几个提名的人，便悻悻离去了。

刘伯温强记博学，才思敏捷。除经史诗文外，军事韬略，兵法智术，天文地理以及阴阳五行都十分精通。而且为人机警，处事决断。他觉得自己得罪了很多人。连皇帝朱元璋也不是很信任他。便多次上书告老还乡。洪武四年，他被恩准退休，在乡间，他谢绝同一切官府来往，每天只是饮酒弈棋，读书吟诗，从不讨论朝廷政事。但他仍厄运难逃。洪武六年，胡惟庸当了丞相，他对刘基不推荐自己为相而怀恨在心。在朱元璋面前诬陷说：“刘基在乡里作韬光养晦之计，他谋占了有王气的地方作为自己的墓地，这分明是图谋不轨。”一向猜忌心很重的朱元璋听完这段话，就下令夺了刘基的俸禄。刘基被迫忍辱入京请罪，不想在京中忧愤成疾。胡惟庸觉得机会来了，便一不做，二不休，以送药问医为名，在刘基吃了药种下了毒，随机又把刘基送回了家乡。刘基到了家乡不就便一命呜呼，离开人世，享年65岁。

听说刘基已死，朱元璋假装慈悲，一面派人祭奠安葬，一面让人调查死因，但也是不了了之了。