太白收枪后，刘志丹率部转战陕甘边界，打土豪、除民团，部队很快发展到150多人，闹得反动派极为惶恐。
1930年腊月，陕北军阀井岳秀令其驻延安的高双城部，分兵三路，向刘志丹的部队发动了“肃清”战斗。1931年正月初三，刘志丹率军抵达合水固城川麻义村。这时，赵连璧、同守孝、杨培盛、贾生财和瓦子川民团团总唐青山，带着各自的队伍相继前来，使部队增加到400余人，被编为4个连，刘志丹任总指挥。部队在宁县张
皮塬打土豪、筹军饷时，遭到陇东暂编十三师陈硅璋部谢绍安旅的突然袭击，只有百余人突出重围，转入宜君县小石崖一带坚持斗争。后陕西省委指示，要求刘志丹率部与驻邻县的军阀苏雨生合作，相机组织武装起义。其时，苏雨生与蒋介石矛盾重重，共产党在苏部的兵运工作也建立了较好的基础，于是，刘志丹派赵连璧、杨培盛、贾生财等回南梁、合水再建立新的队伍，然后派人同苏雨生谈判，队伍被改编为苏雨生部的补充团，由刘志丹任团长，部队驻防旬邑县职田镇。
1931年3月，陕西省委派高岗到职田镇，指示部队“利用补充团名义，尽量扩大队伍，积极准备打红旗”。3个月后部队扩充到200余人。由于当地豪绅告密，苏雨生将刘志丹扣押，并包围了职田镇。为了营救刘志丹，保存革命力量，党组织决定，除由同守孝等带领100余人突围外，其余人员暂时缴枪。这样，补充团又被改编为苏部的运输队，由魏佑民任队长，移驻邠县县城东关。同时，党组织通过地下党员南汉宸和杜斌丞先生，使刘志丹很快获释出狱。
刘志丹出狱后，奉陕西省委指示，又打进陈硅璋部，以陈的名义在宁县成立了十一旅。陈硅璋将刘宝堂警卫团拨归刘志丹指挥，协助前往宁县收编李培霄的饥民队伍。在此之前，河套土匪高广仁率部千余人投向陈硅璋，被改编为陈部第十三旅，驻防宁县早胜镇。其时，陕军杨虎城与苏雨生火并，苏战败北逃，陈硅璋命令高广仁、刘志丹相机堵击，但高广仁却暗中勾结苏雨生和张廷芝。6月29日，在早胜镇将刘志丹、刘宝堂扣留，并裹胁部队，经合水向宁夏北窜。陈硅璋令其驻西峰镇第五旅旅长蒋云台率部追击，在合水老城东关将高广仁部击溃。可是，蒋云台又借口刘志丹挑起了“早胜事件”，要将他押送平凉交陈硅璋“治罪”。在刘宝堂的帮助下，刘志丹才得以脱险，经贾生财和沿途群众掩护回到南梁。
刘志丹认真总结了多次兵运失败的教训，主要是军事斗争没有和农民运动结合起来，没有建立起革命根据地。1931年9月，刘志丹、马锡五来到南梁平定川倒水湾。其时，杨培盛、赵连璧、贾生财已分别拉起各有100多人的3支农民武装。刘志丹指示杨、赵、贾率部赴倒水湾整编，建立了陕甘边地区第一支独立的革命武装——南梁游击队，下辖3个营，刘志丹任总指挥。南梁游击队是共产党领导的甘肃第一支独立的工农武装，它的成立标志着陕甘边兵运工作的基本结束。
陕北和陇东国民党军阀张廷芝、陈硅璋闻风，分别派出1个骑兵连和1个营，妄图将南梁游击队扑灭。合水民团也赶来凑热闹。刘志丹命令赵连璧率领一营在山庄的白沟口，将张廷芝部蔺士昌率领的40多名骑兵击溃，迫使其退回三边。杨培盛、贾生财率领的二三营，击退了南线进犯的合水民团。陈硅璋部营长张天禄率领1个连战场起义，余部退出了南梁。从此，陕甘边界的革命武装斗争，开始走上了由共产党领导的独立发展的道路。
1931年10月20日，杨重远、阎红彦率领晋西游击队，师储杰、杨琪率领商贩武装，在林锦庙与南梁游击队会师，成立了由谢子长任书记，刘志丹、阎红彦、杨重远等为委员的中共队委会，将会师部队改编后移驻新堡休整。陈硅璋为壮大势力，派人商谈收编会师部队。谢子长、刘志丹因部队生存所需，在保持军队独立的原则基础上，同意与其谈判。陈当即拨发军衣1000余套、军饷3000余元等军用物资，将部队改编为陇东暂编十三师警备骑兵第二旅，谢子长任旅长，刘志丹任副旅长兼参谋长，仍驻新堡。12月中旬，陈企图把会师部队变成其军阀队伍的阴谋未能实现，于是调集1个旅向会师部队扑来。谢子长、刘志丹率部在庆阳柳村塬歼其2个连，粉碎了陈硅璋的“包剿”。
1932年1月9日，会师部队在正宁县柴桥村改编为西北反帝同盟军，成立了中共西北反帝同盟军委员会，谢子长任总指挥兼书记，刘志丹、荣子卿等为委员。1月20日，陕西省委派军委书记李杰夫到部队主持改编工作。2月12日在三嘉塬将部队改编为中国工农红军陕甘游击队，谢子长任总指挥，李杰夫任政委。2月中旬，游击队接连击溃了旬邑职田镇、耀县照金、宜君瑶曲镇和焦家坪、富平、铜川、耀县守军和民团，使红军声威大振。
3月19日，红军游击队攻打正宁山河镇失利。4月18日，陕西省委书记杜衡以山河镇失利为借口，撤销了陕甘红军游击队总指挥部和谢子长的职务，并将部队编为第三、第五支队。三支队队长刘志丹率部到乾县、永寿一带活动；五支队队长阎红彦率部到照金、三原一带活动；谢子长被排挤出部队。陕甘游击队进入陕西以后，受到国民党军队的多路“追剿”。5月10日，省委又恢复了陕甘游击队总指挥部，刘志丹任总指挥，李杰夫任政委。15日至17日，刘志丹指挥游击队在旬邑马栏镇、凤凰山、焦家坪、五里镇消灭国民党五一一团4个连及民团500多人，使部队发展到1500余人。20日，消灭了白水和中部县民团百余人，随后，在宜川英旺镇消灭国民党军八十六师1个营。在这次反“追剿”中，陕甘游击队转战富县、洛川、中部、宜君、白水5个县，半个月内作战9次，8次获胜，消灭国民党军1400余名，缴枪1200余枝。5月底，陕甘游击队在甘泉临镇战斗中失利，随后在韩城又遭重兵围攻，损失严重，只得再回陇东。
1932年8月30日，省委派谢子长重新任陕甘游击队总指挥，刘志丹为副总指挥。此时，国民党又发动了3路“进剿”。9月12日，陕甘游击队将进占照金的民团军总指挥党谢芳击毙，生擒耀县民团团总蔡子发。随后，国民党又集结几个县的兵力联合反扑。为了摆脱围攻，谢子长、刘志丹率军撤离照金。24日夜，陕甘游击队包围了保安县城，战斗失利，即向麻地台川等地转移。10月1日，在墩儿梁遭到陇东警备旅2个营袭击，战斗失利，谢子长负伤，部队遂撤退到平定川、瓦子川隐蔽。当时，部队伤亡惨重，加之伤寒病流行，伤病员骤增，而且武器残缺，弹药、医药匮乏，部队陷入极度困难的境地。为了扭转局面，中共陕甘游击队在南梁莲花寺召开了党委扩大会议，决定化整为零，分兵4路，坚持斗争。会后，刘志丹带领一个大队去合水塔儿塬一带活动；杨森、黄子文带领一队到三原武字区一带活动；阎红彦、杨重远、杨琪带领骑兵队到照金一带打游击；谢子长留在平定川、豹子川一带照料伤病员。两个月后各路部队均得到巩固和发展。
1932年12月20日，省委书记杜衡以中央特派员身份在宜君县转角镇，撤销了谢子长、刘志丹、阎红彦、杨重远等人在部队的领导职务。24日，将陕甘游击队改编为中国工农红军第二十六军第二团，杜衡自任军政委兼红二团政委，王世泰任团长，郑毅任参谋长，全军共200余人。
1933年3月，红二十六军攻占金锁关后，与渭北游击队在三原心字区全歼国民党军1个排，又袭击了泾惠渠吊儿嘴、淳化南村堡、彬县龙马和高村等民团，先后组建了旬邑、照金、芋园、香山、宜君等5支游击队；3月8日，陕甘边区特委在照金兔儿梁正式成立，金理科任特委书记，习仲勋任特委军委书记。3月中旬，在照金成立了陕甘边区游击队总指挥部，李妙斋任总指挥，张秀山任政委。4月5日，在照金召开了陕甘边工农兵代表大会，选举成立了陕甘边革命委员会，周冬至任主席，习仲勋任副主席。红军建立了以薛家寨为中心，东至高山槐，西抵七介石、黄花山，北迄断头川，南到桃曲源、牛村河，东西20余公里、南北40余公里的照金革命根据地。
5月下旬，杜衡从西安返回照金，召开了党政军干部临时联席会议，提出放弃照金、南下渭华的逃跑主义主张。6月初，强令部队南下进抵武字区。渡过渭河后，杜衡以向省委汇报工作为名，私自跑回西安。7月28日，陕西省委机关被破坏，杜衡被捕后叛变，部队由汪锋代理政委，刘志丹任参谋长，在蓝田县张家坪被5000余国民党军包围。部队分3路突围，进入终南山苦战两月后，全军覆没，毁掉了共产党建立的第一支西北红军。最后，只有刘志丹、王世泰、汪锋、吴岱峰、高锦纯、黄罗斌、杨琪、刘约三、曹士荣、康建民、王兆祥等百余人突围成功，重返照金。
红二十六军南下后，陕甘边区游击队总指挥部和渭北游击队先后在三原、富平、宜君、旬邑、正宁、宁县等地建立了20余支游击队。1933年6月13日，渭北游击队和富平游击队整编为红二十六军第四团，黄子祥任团长。7月21日，在杨虎城部开展兵运工作的王泰吉率领驻耀县骑兵团千余人宣布起义，建立了西北民众抗日义勇军。由于国民党军的大举“追剿”和混入起义队伍中的部分军官相继率部叛逃，最后只剩王泰吉、谈国帆、赵国卿、孔林甫、任浪花等百余人于8月初进入照金。
8月14日，陕甘边特委在陈家坡召开党政军联席会议，成立了陕甘边红军临时总指挥部，王泰吉任总指挥，高岗任政委。
10月4日，刘志丹、王世泰等回到照金。刘志丹被任命为红军临时总指挥部副总指挥兼参谋长。此时，国民党又调集4个团和6个县民团的6000余兵力，向红军发动了大举进攻。为了避开围攻，10月中旬，王泰吉、刘志丹率领红军主力挥师陇东。18日夜，在合水县城消灭国民党军1个连和民团百余人，活捉了国民党县长和恶霸劣绅10余人，救出了杨培盛等20多名红军游击队干部和60多名无辜群众。
10月16日照金失陷，周冬至等被杀害。10月21日，王泰吉、刘志丹率领红军在宜君县杨家店消灭国民党军一个连；27日在庆阳县消灭谭世麟民团40余人，接着，在城壕川击溃谭世麟亲自率领的一股民团军；28日，在毛沟门将一路尾追而来的国民党军赵文治团800余众击溃。这次战斗扭转了红二十六军南下失败后的被动局面。至此，红军5战5捷，声威大振。
1933年11月3日至5日，陕甘边特委和红军临时总指挥部在合水县包家寨子召开联席会议，决定撤销红军临时总指挥部，恢复红二十六军，成立第四十二师；划分三个战略区，开辟以南梁为中心的陕甘边革命根据地；建立陕北、陇东、关中三路游击队，以南梁为中心开展游击战争，逐步把南梁根据地同陕北、关中游击区连成一片。11月?日，在莲花寺将西北民众抗日义勇军、耀县游击队和红四团少年先锋连编为红三团，王世泰任团长，李映南任政委(后黄罗斌接任)。将红四团改编为骑兵团，黄子祥任团长，杨森任政委(后高锦纯接任)。新成立的第四十二师，王泰吉任师长，刘志丹任副师长兼参谋长，全师500余人，战马200多匹，全面展开了创建南梁根据地的军事斗争。