李虎为陇西成纪人，其祖先为晋末的凉武昭王李暠。李虎早年是太保贺拔岳的旧部。李虎少时倜傥，有大志，喜好读书而不存章句，特别善于射箭，轻财重义，雅尚名节，因此深得贺拔岳的器重。元颢进入洛阳，李虎跟随贺拔岳将其平定。李虎因功受封晋寿县开国子，食邑三百户，官拜宁朔将军、屯骑校尉。后随贺拔岳击败万俟鬼奴，留镇陇西，累次升迁至东雍州刺史，不久改任卫将军。贺拔岳镇守陇右，任命李虎为左军大都督，并将内外军事委托给他。

北魏孝武帝任命李虎为卫将军，派他到宇文泰那里辅佐镇守关中。

后与宇文泰平定侯莫陈悦，恰逢高欢进入洛阳，李虎率军迎接北魏孝武帝到潼关，因功授任骁骑将军，加任仪同三司。灵州曹泥谋反作乱，李虎与李弼、赵贵平定之。

李虎后来官至左仆射、太尉，赐姓大野氏。大统三年（537年），李虎受封陇西郡公，与安定公宇文泰、广陵王元欣、赵郡公李弼、河内公独孤信、南阳公赵贵、常山公于谨、彭城公侯莫陈崇因有辅佐之功，故都成为加“柱国”衔的最高武官，号称“八柱国”。

李虎于周篡魏之前去世，其子李昞也随后去世，由时年七岁的李渊袭爵。李渊之母与后来的隋文帝杨坚之妻为姐妹，都是八柱国之一独孤信的女儿，因此李渊深为其姨母即隋文帝的独孤皇后所喜爱，而且又与隋炀帝为表兄弟。