于谨字思敬，河南洛阳人，早年以才名着称一时，出身于北魏正规军，在镇压边镇大暴动出谋划策，立下大功，被魏帝封为积射将军，后一度位至北魏征北大将军，但他在尔朱天光与高欢之争中站在尔朱一边，不久尔朱大败，于谨逃入关中。

于谨向宇文泰献都关中之策。

随后，于谨跟随宇文泰参加了诸次战役，并带领宇文护、杨忠攻下了梁都江陵。“ 俄拜司空，增邑四百户。十五年，进位柱国大将军。”

宇文泰死后，宇文护受命辅政，而于谨在大多数人迟疑之际，说服大家服从宇文护，化解了分裂倾向。

于谨在八柱国中以谋略为优，凡宇文泰以后大方向战略的制定都有于谨的参与，而于谨也是以其谋略保自身功名在数次换主时不失。

于谨诸子在周隋间皆位重一时，而又以于翼为最，其地位在北周与于谨类似，周武帝继位前于翼甚至受先帝托孤，周武帝灭齐时于翼领一军独当一面，灭齐后又主持了长城的修补。最后在杨坚代周之时，于翼与李穆一样起到了影响全局的作用，因而于氏在于谨死后历周隋两朝更显其盛。