在明朝初年的官员制度还是采用了元朝末年留下来的中书省制度，中书省的官职十分大。朱元璋还分别设立了左丞相和右丞相。凡事都要经过中书省的裁决，才能下达给六部。很多奏章也是需要先让中书省过目，才能传到皇上手里。

明史记载，胡惟庸在当上宰相之后，排挤任何他看不顺眼的人，甚至还私自留下官员给皇帝的奏折，未经皇帝的同意而决定官员的任免。这可以说是很严重的僭越了，毕竟这已经算是在挑战朱元璋作为皇帝的权威了！

朱元璋其实是一个比较暴躁的人，他最痛恨官员的腐败。据统计由于腐败而被朱元璋杀掉的官员，不下十万人！但是对于胡惟庸，朱元璋似乎不为所动，装作不知道他的所作所为。其实作为眼线遍布整个京城的朱元璋，胡惟庸做什么怎么能逃得过皇帝的眼睛呢？三十六计中有一计叫做"欲擒故纵"，朱元璋不傻，他这样做其实有更大的目标：他想废掉宰相这个职位！

宰相在中国到了明代已经存在几千年了，远的有姜子牙，近的有王安石，可能其间名称有所变化，但是职能相近，都是作为皇帝的辅助者，权利非常大。而朱元璋是个权力欲非常强的人，他希望帝国所有的权利都掌控在他自己手里面，他想让皇帝拥有无限的权利，所以他必须废掉宰相制度。

胡惟庸在被朱元璋宠了八年之后，有一天，胡惟庸的儿子骑马的时候从马上面掉了下面，谁知好巧不巧的从旁边经过一辆马车，直接把胡公子给轧死了，胡惟庸听说之后，一怒之下就让人把这个马车夫给杀了。根本没有走司法程序，即使是宰相，也不能如此肆无忌惮的藐视法律。在往常，胡惟庸找到朱元璋哭诉一番，事情就大事化小小事化了了。但是这一次，朱元璋的态度明显有了一个一百八十度的大转弯。根本没有理他，只说了一句：杀人偿命。俗话说墙倒众人推，这件事情发生没过多久，胡惟庸的同党就像朱元璋揭发胡惟庸企图谋反。至此而始，轰轰烈烈的明朝胡惟庸案件就此拉开了帷幕。但凡和胡惟庸有关系的人都被逐渐牵扯到，砍头的砍头，发配的发配。这种情况一直持续好几年，被牵扯到的人多打一万多人。

胡惟庸死后没有几个月，朱元璋就宣布废除宰相一职！

朱元璋如此处心积虑的废掉宰相，可以说是隐忍了八年之久。究其原因还是因为朱元璋担心宰相的权利过大影响到皇权，自古“相权”，“皇权”不两立。