对于这支大胆北上，深入漠北，导致漠北大乱的汉军，辽军主帅耶律贤适自然是深恶痛绝，直欲除之而后快。面对远征军连番的后撤，是紧追不舍，即便杨、王二将引兵西逃，仍派数千骑兵，继续追击，欲要全歼。同时，也遣使携令，指示金山以东的粘八葛诸部出兵，配合进剿。
只不过，事与愿违，那个时期的漠北，动乱未已，部众离散，部族离心，虽然耶律贤靠着辽国数十年的余威，粘合诸部适，组成联军，击败了汉军，但是，烂摊子是撂下了。耶律贤适也不得不将更多精力，放在对漠北的安抚事宜上，并不能全力追歼汉军。
而那些粘八葛部族，对辽国的命令，也早开始阳奉阴违起来，他们并不愿意出人出马，把部落的精壮消耗在同汉军的作战中。当年，为了配合辽军远征西域，已经吃过一次亏了，那次的结果，是肥了辽廷，折了他们这些附属部族。
甚至于，对于迫汉军西走，将战火燃烧至他们的领地，很是不满。而追击的辽骑，也是由漠北部骑组成。乌孤山之战，包括后续的追击战，这些漠北骑兵，也算是体验过汉军的作战能力与作战意志，辽军虽然取胜了，但自身的伤亡，一点都不少。
汉军这支穷寇，虽然狼狈西逃，但威胁仍在，一旦惹得拼命反击，那必定又是一场血战。而这些漠北的骑兵，也不愿与汉军继续消耗，因此追击的欲望并不高。因为无利可图，且危险不小。
再加上，当时的漠北，人心是真的乱了，散了，汉军的袭击，可以说把原本辽国在漠北的统治体系给彻底破坏了。
辽朝廷的威信大跌，实力损伤，而诸多部族，就难免起异心，开始对辽国统治，抱有疑问了。损失惨重的阻卜、达旦等部嗷嗷待哺，那些及时避祸，实力得到保留的部族，则想着是否有机会扩充实力。追击的那些首领、将领，也更注意保存实力，心在自家部族的利益得失上。
多方因素共同作用之下，也就给远征汉军一个可钻的空子，得到一个喘息的机会。杨业与王彦升都是久经战阵，嗅觉灵敏的战将，身临其境，对于敌情的变化，感受是最为明显的。
当察觉到身后辽军追击势头减弱之后，也有些定心，也有更有余地去思考何去何从，如何彻底摆脱危机。
按照王彦升的想法，是直接杀入，夺出一条生路来。相比之下，杨业还是要更冷静，也更理智些。在他看来，虽然取道金山，但对当地的情势终究不明了，粘八葛诸部的态度也不清楚，而后方追击之势放缓，也给他们留出更多调整的余地。
于是在杨业的建议下，远征军余部虽至金山，却没有深入当地部族的腹地，而是在保证安全距离的情况下，遣使联系，表明借道之意。
而粘八葛部，得知汉军西来，对于这头受伤的猛虎，虽然戒备异常，但态度是暧昧的。当感受到汉军的诚意之后，多少消除了一些敌意。
经过前后两次的接触，同东南的两个粘八葛部落达成约定，他们让道指路，而汉军付出的代价，是一些铁骑与武器，并且同他们交易得到了一些军需物资。
在金山东麓，汉军获得了难得的休整时间，其后，果断绕道，走山道小径，转移至金山以南。毕竟，在金山以北，同粘八葛部落的协定并不那么牢靠，汉军不放心他们，粘八葛部族同样担心汉军，干脆南越，脱离那个危险圈。
至阴山以南后，已然临近冬季，而向南方向，隔着流沙，就是西域了，距离他们逃出生天，也不远了。
不过，由于天气变化，再加上对地理、西域形势的不熟悉，他们没有贸然南下，而是选择就地休整，修建营地，熬过此冬再说。
从阻卜王城撤离时，尚有近四千余卒，一路逃亡，翻越金山，至南麓休整时，只有两千五百余人。而熬过了寒冬，到如今的开宝九年春，所有余众，只有不到两千卒了。