高欢军士果然从地下挖掘地道，想从城根上挖穿涌入城中。韦孝宽在城周挖出一条大沟，高欢兵只要从地道尽头跌入长沟，马上派人就地擒杀。他还在长沟内堆满木柴，只要有地道通口暴露，就派人往洞口填塞柴草，放入火把之后，以气排往地道内鼓气，洞中东魏兵顿时烧焦成为烂骨。高欢又用前面安有巨木尖铁的攻车撞城，由于攻车极重极尖，撞上什么马上随声摧垮。韦孝宽缝制无数大布为巨幔，士兵搭吊两端，随攻车方向而转移，由于大幔悬空，攻车以硬碰柔，撞物之前力量已经被消解一空。
此计不行，东魏兵又把松薪麻骨绑在长竿上，浸满油烧着，想烧掉大幔同时焚着城门。韦孝宽又作利刃缚在长竿上，砍断对方的长竿。无计可施之下，高欢派人在城四周穿地道二十条，中间施以梁柱，再以猛火燃烧，地道内梁柱崩塌，好多段城墙也随之塌毁。韦孝宽在城崩处又树以大木栅，后面施以尖槊弓弩，东魏兵还是不能攻入。不久，韦孝宽又派人夺取土山的制高点。高欢派参军祖珽说降韦孝宽：“您孤城据守，四方无救，最终怕坚持不住，早早投降算了。”韦孝宽答道：“我城池严固，兵食有余。攻者自劳，守者常逸。我怕的是你们军队回不去呀。我韦孝宽关西男儿，绝不会作投降将军。”祖珽于是对城中大喊“城中人有能斩韦孝宽的人，拜太尉，封开国公，赏帛万匹。”并向城内射赏格（悬赏令）。韦孝宽在赏格背面亲笔书写“能斩高欢者也按此赏。”射还城外。东魏苦攻玉壁五十多天，因瘟疫爆发，无可挽回，战死病死七万多人，高欢则下令都埋在一个大坑内。
忧愤病死
玉壁久攻不下，东魏军又损失惨重，高欢忧愤发病，一病不起。一天夜里有大星坠于营中（古人认为陨石是将星坠落），高欢惊惧，解围而走。归途中，军中讹传韦孝宽大弩射杀高丞相，西魏闻知此消息，又派大军四处高喊：“劲弩一发，凶身自殒。”为使军心不致摇荡，高欢不顾病重之身，在露天大营召集诸将宴饮，令斛律金唱《敕勒歌》：“敕勒川，阴山下。天似穹庐，笼盖四野。天苍苍，野茫茫。风吹草低见牛羊。”高欢亲自和唱，哀感流泪。
东魏武定五年（547年）正月朔日（即农历正月初一），恰巧日蚀。高欢在垂死之时叹道：“日蚀为了我吗？死亦何恨！”不久薨逝于晋阳家中，时年五十二，葬在义平陵。 高欢去世后，长子高澄独担东魏大任，后被膳奴刺杀。次子高洋袭位。东魏武定八年（550年），高洋废黜东魏孝静帝元善见，建立齐国，史称北齐。其子高洋称帝后，追尊高欢为太祖献武帝，后被改尊为高祖神武帝。
为政举措
政治方面
高欢当政东魏的很长的一段时间里，都集中精力对他的军队进行了比较大的调整和改编。他发现晋阳一带地理位置十分优越，四周崇山峻岭，易守难攻，是个极好的屯兵之地。于是，高欢在晋阳建置大丞相府，长期住在那里，遥控洛阳。他还把手下的鲜卑人从河北迁到了并州、汾州一带，并分别在秀容郡（今山西原平县）、寿阳城（今山西寿阳西）、受阳县（今山西文水东）设置恒、燕、云三州侨州政府；又把六镇改为朔、显、蔚三州，分别在六壁城（今山西孝义西南）、邬县（今山西平遥西北）等地设置侨州政府。侨州政府不受当地政府管辖，直属大丞相府。
对于败坏的吏治，高欢也不是没有做过实质性的努力。比如勋贵尉景贪得无厌，压榨百姓，高欢实在看不下去了，告诫尉景说：“可以无贪也。”尉景毫无惧色，大大咧咧地答道：“我跟你比谁贪的多呢？我不过从凡人上剥取钱财，你是从天子身上取啊！”高欢自己挟天子令天下是事实，但是勋贵面对指责，竟敢放此厥词，高欢也无可奈何。
高欢之所以无法下决心惩贪，与他起家倚赖六镇流民之力有关。面对不法勋贵，高欢更多时是纵容。高欢的逻辑无非是在非常时期不怕民心乱，只怕军心乱。可自古以来是得民心者得天下，岂有依仗武力，纵容墨吏而能长治久安呢？可以说，高欢的偏袒和不作为使东魏、北齐政权自创立伊始就埋下隐忧，此后在北齐历朝中，六镇勋贵们依旧横行不法，与中原士人的矛盾日益加深，两方内讧，互相陷害攻杀，这是国家可怕的内伤。
经济方面
高欢在东魏当政十五年，比较留意农桑，关心民间疾苦，先后沟通了卫水、漳水，开通了天平渠（于天平年间开凿，故以年号命名），用来灌溉良田。还曾多次治理黄河水患、亲自出巡四方，了解各地吏治民生，对于苛暴行为，及时革除惩戒（如尉景）；清廉州官，则奖掖提拔（如韩轨）。
为了扩大剥削对象，增加租税赋役收入。高欢在统治区域内多次清查户籍，搜括人口。早在元象元年（538年），他曾下令禁止各地牧守令长擅立佛寺，以防止大量国家编户成为免除租税赋役的僧尼。武定元年（543年），高欢亲自巡行冀、定二州，校对核实河北地区的户口。次年十月，他又派遣孙腾、高隆之为括户大使，分行诸州，前后共清查出无籍人口六十多万户，并强迫大量流离、侨寓人口返回本乡。
军事方面
北魏末年，原本已衰落下去的柔然汗国，由于参与镇压六镇起义遂渐强盛起来。东西魏分裂以后，高欢和宇文泰无暇北顾，竞相与柔然通好，遂使柔然可汗阿那瑰称雄漠南，势力无故。武定四年（546年），西魏与柔然合谋连兵进攻东魏。高欢得知后，一面在幽、安、定三州的北边险要关口修建防御工事，一面派臣下出使柔然为儿子高澄求婚。柔然可汗拒绝将女儿嫁与高澄，强迫高欢自娶。高欢被迫将其妻匹娄氏处于别居，纳柔然公主为正室。高欢屈辱妥协讨好柔然，以换取北边的和平，全力对付西魏。
民族方面
高欢深知属下鲜卑士兵与汉人之间的矛盾。他试图调和胡汉之间的关系。但调解工作并不成功，没能像西魏宇文泰那样把汉族和鲜卑族一起整合为关陇集团，汉族和鲜卑族在高欢治下的民族矛盾十分尖锐，外加高欢无缘由的偏袒鲜卑族，加深了这种矛盾的存在，导致了高欢及其身后的北齐国祚的短暂，最终输给了由关陇集团构成的北周。
高欢从政治上、经济上给予六镇鲜卑很多特殊的照顾，规定他们以打仗为主要职业，不从事生产，衣食供给都仰承于汉族人民。六州鲜卑拱卫在晋阳的四周，既有利于高欢对军队的调发和使用，又成为他重要的兵源。
人物评价
总评
高欢为人深沉，富于机谋，极具军政天赋。善用人，不问地位高低，唯才是举。治军严明，将士乐为效死。从他替尔朱荣出谋划策，到后来击破掌权的尔朱家族都显示了这一点。另外，高欢临终前嘱咐儿子高澄，指出侯景必然造反，但只要用慕容绍宗为帅就可讨平。结果不出高欢所料。高澄、高洋日后的班底，基本不出他的建制，为北齐立国打下了坚实的基础。
历代评价
元善见：“赖齐献武王奋扬灵武，克剪多难，重悬日月，更缀参辰，庙以扫除，国由再造，鸿勋巨业，无德而称。”
尔朱荣：“堪代我主众者，唯贺六浑耳。”
慕容绍宗：“高公雄略，又握大兵，将不可为。”
段长：“君有康济才，终不徒然。”
宇文泰：①“贼臣高欢，器识庸下，出自舆皂，罕闻礼义，直以一介鹰犬，效力戎行，埙冒恩私，遂阶荣宠。不能竭诚尽节，专挟奸回，乃劝尔朱荣行兹篡逆。及荣以专政伏诛，世隆以凶党外叛，欢苦相敦勉，令取京师。又劝吐万儿复为弑虐，暂立建明，以令天下。假推普泰，欲窃威权。并归废斥，俱见酷害。于是称兵河北，假讨尔朱，亟通表奏，云取谗贼。既行废黜，遂将篡弑。以人望未改，恐鼎镬交及，乃求宗室，权允人心。天方与魏，必将有主。翊戴圣明，诚非欢力。而欢阻兵安忍，自以为功。广布腹心，跨州连郡。端揆禁闼，莫非亲党。皆行贪虐，窫窳人生。”②"高欢虽智不足而诈有余。”
高洋：“世道横流，苍生涂炭。赖我献武，拯其将溺，三建元首，再立宗祧，扫绝群凶，芟夷奸宄。德被黔黎，勋光宇宙。” …
