1227年，成吉思汗死去。1229年9月窝阔台登上大汗位。1241年12月11日窝阔台死后,由其后乃马真称制,因各派势力争夺,汗位虚悬达5年之久。1246年夏,乃马真后召开忽里勒台,推举其长子贵由为合汗(定宗)。但贵由继汗位不到三年就死了,由海迷失皇后称制,欲立其子失烈门。

1251年,由术赤系和拖雷系两个兀鲁思推举拖雷子蒙哥为合汗。蒙哥即命其弟忽必烈总领漠南汉地军国重事,统军南征。命其弟旭烈兀总领阿姆河以西诸地军国重事,统军西征。

忽必烈在南进过程中,遭到南宋军民的顽强抵抗。1253年,忽必烈采取大迁回包抄战略,穿过吐蕃区进入滇北,灭大理国。蒙哥汗亲率主力军进攻四川,被南宋军队阻于合州(合川县)坚城之下。1259年七月,蒙哥染病死于军中。

国不可一日无君，这时候留在漠北拥有继承权的一些贵族就坐不住了。天子既死，天下无主，有许多宗王想乘机攫取帝位，但最有竞争力的是蒙哥的两个弟弟忽必烈和阿里不哥。他们弟兄之间手足情笃，从无矛盾，但是为了争夺帝位，却是刀光剑影，拼了个你死我活。

蒙哥逝世后，究竟谁能继位，一时还看不出端倪，阿里不哥留守哈喇和林，这里是蒙古帝国都城，是根本之地，因而占有天时地利。忽必烈手握重兵，将士听命，人马强悍，可在军事上与阿里不哥一决雄雌。这样，双方都在采取对策，争取把帝位弄到手里。

忽必烈在军前召集幕僚商议。郝经建议“断然班师，销祸于未然”，廉希宪也建议“愿速还京，正大位以安天下”，正在此时，贾似道恰好遣使约和，于是双方商定，以长江为界，宋向蒙古每年纳银二十万两，绢二十万匹。

忽必烈轻车简从到达燕京(今北京)，驻其近郊。而这时候，阿里不哥已派脱里赤在燕京召集军队包抄忽必烈。忽必烈遣散了脱里赤的军队，同时秘令自己的军队火速北返。这时候，阿里不哥派信使召集忽必烈参加漠北和林的忽里勒台会议，选举新汗。忽必烈未予理睬，并命廉希宪到开平(后称上都，今内蒙古正蓝旗)，观察事态发展。又命塔察尔赴宗王塔察尔处，劝其支持忽必烈为汗，得到塔察尔的赞同。

1260年三月,忽必烈在开平(今内内蒙古正蓝旗东北闪电河北岸)违反传统的召开忽里勒台的选汗程序,由亲王合丹、阿只吉所率西道诸王和塔察儿、也先哥、忽刺忽儿、爪都所率东道诸王会商,在诸大臣“劝进”之后,就匆忙于三月二十四日“即皇帝位”,时年46岁。

当蒙哥汗发兵攻宋时,命其少弟阿里不哥留守和林。在忽必烈抢先即汗位后,同年四月,阿里不哥也“僭号于和林城西按坦河”。

当时蒙古诸王多站在阿里不哥一边,忽必烈为了壮大自己的势力,用高官厚禄来争取汉族封建武装力量的支持,任命大批汉族官僚士大夫担任军政要职,同时,采取一系列符合中原情况和地主阶级利益的措施,以安定军心、民心。又大力拉拢西域诸王以扩充自己的实力。

1260年五月十九日,忽必烈“建元为中统元年”。在建元诏中,完全用儒家的语气昭示自己政权的性质和纲纪国家的原则。五月二十七日,以阿里不哥反,诏赦天下。七月,忽必烈亲征阿里不哥,双方进行了多次大大小小的战争,1264年七月,阿里不哥与诸王蒙哥汗的儿子阿速带、玉龙答失、昔里吉等向忽必烈投降。至此,忽必烈与阿里不哥的汗位之争,以忽必烈的最后胜利宣告结束。

他在忽必烈的大帐里叩头请罪后，木然立在那里。忽必烈手足情深，见他惶惶不安，不禁流出了眼泪，问阿里不哥：“我与你谁是谁非？”阿里不哥说：“以前我是，今日你是。”

1271年十一月十五日,忽必烈“取《易经》“乾元”之义”,建国号日“大元”,元朝建立。

趁着忽必烈和阿里不哥的内战，西北地区的钦察汗国、察合台汗国、窝阔台汗国纷纷自立，此时常在西亚进行西征的旭烈兀也准备自帝一方，不论忽必烈还是阿里不哥都只得到一部分宗王支持，没有召开元太祖成吉思汗四子嫡系后裔参加的大忽里台，忽必烈不被广泛承认，于是，忽必烈将大汗在西亚的直辖地（阿姆河以西直到埃及边境）封给旭烈兀换取旭烈兀的支持，旭烈兀建立伊儿汗国（其实旭烈兀留在西亚忽必烈也没办法，但忽必烈给了旭烈兀统治的合法性）。忽必烈将大汗在中亚的直辖地（阿尔泰山以西直到阿姆河的农耕和城郭地区）封给察合台汗阿鲁忽换取阿鲁忽的支持。而钦察汗国早在元定宗贵由和元宪宗蒙哥统治时期已经取得实际上基本独立的地位。 因为大蒙古国 （蒙古帝国）的分裂，忽必烈实际管辖的政治版图仅止中原地区、东北地区（包括整个黑龙江流域）、吐蕃地区（包括今青海、西藏等地）、蒙古草原全境，西伯利亚南部地区以及今新疆东半部。