高士廉年轻时很有器量，对文史典籍也有所涉猎，与司隶大夫薛道衡、起居舍人崔祖浚是忘年之交，因此得到公卿的赞许。自以为是北齐宗室，不宜广交名流，于是隐居在终南山，闭门谢客。

隋炀帝大业年间，高士廉出任治礼郎。609年（大业五年），高士廉因妹夫长孙晟病逝，便将妹妹高氏接回家中，并厚待外甥长孙无忌、甥女长孙氏。后来，高士廉发现李渊次子李世民才华出众，便将甥女长孙氏嫁给他，这就是后来的文德皇后。

613年（大业九年），兵部尚书斛斯政逃奔高句丽。高士廉因与斛斯政有交往，受到牵连，被贬为朱鸢县主簿。事母至孝，因岭南地区瘴疠严重，不能带母亲同行，便将妻子鲜于氏留下，代自己奉养母亲。他又想到妹妹没有着落，就卖掉大住宅，买了小住宅安顿妹妹，并把剩下的钱分给母亲和妹妹，自己轻装上路。

后来，高士廉随丘和依附萧铣。武德四年（621年），丘和、高士廉前往江陵（今湖北荆州）朝见萧铣，途中听闻萧铣被唐军主帅李孝恭击败，便转而投降李孝恭。武德五年（622年），高士廉与丘和奉表归唐，被任命为雍州治中。当时，李世民正担任雍州牧，因高士廉是自己妻子的舅舅，而且素有声望，对他非常器重。

武德九年（626年），李世民与隐太子李建成矛盾加剧，高士廉与长孙无忌、侯君集等人日夜劝谏李世民，欲诛杀李建成与齐王李元吉。后来，高士廉释放在押囚犯，发给他们武器，并与他们赶到芳林门，配合李世民发动玄武门之变。李世民被立为太子后，任命高士廉为太子右庶子。

646年（贞观二十年），高士廉患病，在唐太宗登门探望时，谈起自己的一生经历，哭着与太宗诀别。

647年（贞观二十一年）正月，高士廉病逝，终年七十二岁。追赠司徒、并州都督，谥号文献，陪葬昭陵。

649年（贞观二十三年），唐高宗继位，追赠高士廉为太尉，并将他的灵位放在唐太宗的宗庙中。

李世民长孙皇后、长孙无忌的亲舅舅，二人之父早死，实际由高士廉抚养。高对李世民极为器重，以至主动将长孙后许配给李世民。