宇文泰人称宇文黑獭,这黑獭不是粗口,也不是骂人的称呼,而是宇文泰的字。他是鲜卑人,但因为北魏从冯太后当权起就开始进行汉化改革,所以鲜卑男子也跟随汉人一样为自己改字,并且以字作为称呼。
宇文泰的先祖源出南匈奴,后融入鲜卑族中,号宇文部。当年六镇起义期间,宇文泰一家亦参加了起义队伍。
但在前往左人城途中,被北魏官军击败,父亲宇文肱及大哥宇文颢、二哥宇文连阵亡,宇文泰与其兄宇文洛生大难不死,加入了鲜于修礼军中。
鲜于修礼死后,宇文泰又加入葛荣军中,被任为将帅。葛荣失败后,尔朱荣畏惧宇文兄弟有异心,于是网罗其他罪名,诛杀了宇文洛生。
因为宇文泰慷慨陈述,才释去尔朱荣对他的戒心,才得以幸免于难。由于宇文泰与尔朱荣的部将贺拔岳有旧,贺拔岳亦是武川(今内蒙古武川县)军人,与宇文泰之父宇文肱关系甚密,因此,宇文泰被收编在贺拔岳部下。
永安三年(530年)春,尔朱荣以尔朱天光为主帅,贺拔岳和侯莫陈悦为副帅,率兵前往镇压关陇起义军。
宇文泰以步兵校尉的身份随贺拔岳入关,因镇压起义军有功累迁至征西将军、金紫光禄大夫,增邑三百户,加直阁将军、行原州事。
在镇压关陇起义的过程中,宇文泰趁机扩大自己的影响,对吏民施以恩惠,赢得了不少人的好感。是年九月,孝庄帝元子攸诛杀尔朱荣,但大权仍操在握有大军的尔朱氏手中。
532年,高欢攻灭尔朱氏,拥魏孝武帝元修即位,自总大政。他任命贺拔岳为关西大行台,贺拔岳任命宇文泰为行台左丞,领府司马,加散骑常侍。
当时高欢事无巨细,都委任于贺拔岳。自己则在朝中位居大丞相,秉掌大权。孝武帝元修密谋与贺拔岳相勾结,想牵制高欢。
当时为府司马的宇文泰自请出使晋阳(今山西太原),来观察高欢的为人。宇文泰到了晋阳之后,与高欢口答应对,敏捷雄辩,高欢欲留宇文泰为己用,宇文泰坚决推辞而返。
宇文泰回到长安,对贺拔岳分析了当时形势,他说:“高欢这个人决不甘于为臣下者,他之所以还没有篡夺皇位,是忌惮你们兄弟二人。”