首先要糾正題主壹個小錯誤，劉備撤離的其實是樊城，不是新野。而百姓跟著劉備走是在襄陽，是完全出於自願。在《三國演義》裏，劉備壹直鎮守新野，幫劉表看守荊州的北大門。直到曹操南下攻打荊州，劉表病死，劉琮投降了曹操，劉備無意中得知此事以後才放棄新野南下。在離開新野前，諸葛亮還把新野百姓都遷到樊城，在新野放了壹把火，把曹軍前鋒燒了壹個七葷八素。按照演義的說法，劉備其實可以算是強行把新野的百姓給遷徙走的。不過正史上其實沒這回事。
在正史上，劉表死前劉備已經鎮守樊城。劉琮投降曹操以後倒是和演義壹樣，沒敢告訴劉備。直到曹操到了宛城，曹軍前鋒過了新野，劉備才得知此事。劉備立即棄城南下，自己走陸路經襄陽前往江陵，而關羽則率水軍走水路去江陵。在經過襄陽時，諸葛亮勸劉備趁機奪取襄陽。劉備認為劉表剛死，自己不忍和劉琮翻臉。隨即劉備在城外呼喚劉琮，劉琮畏懼不敢和劉備見面，劉琮身邊左右和襄陽城內百姓很多出城投奔劉備。等到當陽時，已經有百姓十多萬跟隨。乃駐馬呼琮，琮懼不能起。琮左右及荊州人多歸先主。比到當陽，眾十餘萬。
劉備既然沒有進入襄陽城，顯然不可能用武力脅迫襄陽的百姓跟著自己壹起走。所以襄陽的百姓是自願跟著劉備南下。其實出現這種情況不奇怪，在東漢末年軍閥混戰時期，攻下對方城池以後屠城的不在少數。曹操當年在徐州就這麽幹過。相比之下，襄陽城內的百姓顯然更願意相信已經在荊州多年，素有仁義之名的劉備，也算是亂世中的無奈吧。