秋时期，羌族发展起来，今兰州市西部的河湟一带是他们的聚居地之一。战国时期，北方的匈奴族趁秦国统一六国战争之机，南下驱走月氏族，占领黄河以南至战国秦长城之间的“河南地”，进入今兰州市。
秦始皇统一六国后，派大将蒙恬北伐匈奴，攻占“河南地”。[39]秦始皇三十三年（公元前214年），在今兰州市城关区东岗镇附近设置榆中县，属陇西郡，[40]管辖今兰州市黄河以南地区，黄河以北地区为匈奴驻牧地，[36]这是兰州地区最早的行政建置。[40]东汉光武帝建武十二年（公元36年），并金城郡于陇西郡，[38][40]次年恢复金城郡，原辖十三县减为十县，白石、河关、枹罕三县划入陇西郡。东汉中期，河湟地区羌人反抗汉朝的战事扩大，汉朝于汉安帝永初四年（公元110年）将金城郡治迁至陇西郡襄武县（今陇西县），延光三年（公元124年）迁回原治。汉灵帝中平元年（公元184年）冬，湟中义从胡北宫伯玉在河湟地区举兵反汉，杀金城太守陈懿、护羌校尉冷征，金城郡治又迁至榆中县。后河陇地区被韩遂割据势力占据，至汉献帝时被曹操击败，金城郡治迁回允吾县。建安十九年（公元214年），从金城郡析置了西平郡。三国时，金城郡属魏凉州，辖榆中、金城、允街、浩亶、令居、枝阳、允吾七县，郡治榆中县。[40]
西晋沿置。西晋末年后，天下大乱，进入十六国时期，今兰州市先后为前凉、前秦、后凉、南凉、后秦、西秦所据。前凉分金城郡的令居、枝阳二县，又立永登县，合此三县立广武郡，辖地在今永登县境内。前凉金城郡领允吾、允街、浩鹿、白土（今青海省循化县黄河北岸）、金城、榆中六县，郡治榆中县，其中允街、浩亶、金城、榆中四县在今兰州地区。[40]东晋太元元年（公元376年），前秦灭前凉，金城郡属前秦，领5县，郡所在治榆中县。太元十一年（公元386年），后凉领金城郡。元兴二年（公元403年），后凉覆灭后，南凉占领广武、金城2郡。
西汉初，依秦建制，今兰州市仍为陇西郡辖地。[36]汉武帝元狩二年（公元前121年），霍去病率军西征匈奴，在今西固区西固城附近设金城县，属陇西郡。[36][40]元鼎二年（公元前115年），汉朝在今永登县境筑令居以西塞，开始经营河