魯定公十四年(前496)，孔子五十六歲，他由大司寇理國相職務，臉上露出喜悅神色。他的弟子說：“聽說郡子大禍臨頭不恐懼，大福到來也不喜形於色”。孔子說：“有這句話，但不是還有壹句‘樂在身居高位而禮賢下士’的話嗎?”於是就把擾亂國政的大夫少正卯殺了。孔子參預國政三個月，販賣豬、羊的商人就不敢漫天要價了;男女行人都分開走路;掉在路上的東西也沒人撿走;各地的旅客來到魯國的城邑，用不著向官員們求情送禮，都能得到滿意的照顧，好像回到了家中壹樣。
齊國聽到了這個消息就害怕了起來，說：“孔子在魯國執政下去，壹定會稱霸，壹旦魯國稱霸，我們靠它最近，必然會首先來吞並我們。何不先送壹些土地給他們呢?”黎?說：“我們先試著阻止他們壹下，如果不成，再送給他們土地，這難道還算遲嗎!”於是就從齊國挑選了八十個美貌女子，都穿上華麗的衣服，教她他學會跳《康樂》的舞蹈，身上有花紋的馬壹百二十匹，壹起送給魯君。先把女樂和紋馬彩車安置在魯城南面的高門外。季桓子身著便服前往觀看再三，打算接受下來，就告訴魯君以外出到各地周遊視察為名，乘機整天到南門觀齊國的美女和駿馬，連國家的政事也懶得去管理了，子路看到這種情形便對孔子說：“老師，我們可以離開這裏了吧。”孔子說：“魯國現在就要在郊外祭祀，如果能按照法把典禮後的烤肉分給大夫們，那麽我還可以留下不走”。季桓子終於接了齊國送來的女子樂團，壹連三天不過問政務;在郊外祭祀束後，又違背常禮，沒把烤肉分給大夫們。孔子於是離開了魯國，當天就在屯地住宿過夜。魯國壹個名叫師己的樂師來為他送行，說道：“先生您是沒有過錯的。”孔子說：“我唱壹首歌，好不好?”於是唱道：“那些婦人的口，可以把大臣和親信攆走;接近那些婦女，可以使人敗事亡身。悠閑啊悠閑，我只有這樣安度歲月!”師己返回後，桓子問他說：“孔子說了些什麽?”師己如實相告。桓子長嘆壹聲，說“先生是怪罪我們接受了齊國那壹群女樂的緣故啊!”
孔子於是到了衛國，寄住在子路妻子的兄長顏濁鄒家中。衛靈公問孔子：“妳在魯國得到的俸祿是多少?”孔子回答說：“俸米六鬥。”衛國也照樣給了他俸米六萬鬥。過了不多久，有人向衛靈公說了孔子的壞話，衛靈公就派公孫余假用兵仗監視孔子的出入。孔子害怕在這裏獲罪，居住了十個月，就離開了衛國。
孔子將要到陳國去，經過壹個叫匡的地方，弟子顏刻替他趕車，顏刻用馬鞭子指著說：“從前我進入過這個城，就是由那缺口進去的”。匡人聽說，誤以為是魯國的陽虎來了，陽虎曾經殘害過匡人，於是匡人就圍困了孔子。孔子的模樣很像陽虎，所以被困在那裏整整五天。顏淵後來趕到，孔子說：“我還以為妳死了。”顏淵說：“老師您活著，我怎麽敢死!”匡人圍攻孔子越來越急，弟子們都很害怕。孔子說：“周文王已經死去，周代的禮樂制度不就在我們這裏嗎?上天如果要毀滅這些禮樂制度的話，就不會讓我們這些後死的人承提起維護它的責任。上天並沒有要消滅周代的這些禮樂，匡人又能把我怎麽樣呢!”孔子派子壹個跟從他的人到寧武子那裏稱臣，然後才得以離開匡地。
孔子離開匡地之後就到了壹個叫蒲的地方，過了壹多月，又返回了衛國，寄住在蘧伯玉家。衛靈公有個叫南子的夫人，派人對孔子說：“各國的君子，凡是看得起我們國君，願意與我們國君建立像兄弟壹樣交情的，必定會來見見我們南子夫人的，我們南子夫人也願意見見您”。孔子開始還推辭謝絕壹番，最後不得已才去見她。南子夫人坐在葛布做的帷帳中等待。孔子進門後，面朝北叩頭行禮。南子夫人在帷帳中拜了兩拜，她披戴的環佩玉器首飾發出了叮當撞擊的清聲響。事後孔子說：“我來就不願見她，現在既然不得已見了，就得還她以禮。”子路不高興。孔子發誓說：“我假若不對的話，上天壹定厭棄我!上天壹定厭棄我!”在衛國住了壹個多月，靈公與夫人南同坐了壹輛車子，宦官雍渠陪待車右，出宮後，讓孔子坐在第二輛車子上跟從，大搖大擺地從市上走過。孔子說：“我沒有見過喜好道德像這樣喜歡美色的人啊。”於是對衛靈公的所作所為感到厭惡，就離開衛國，往曹國去了。這壹年，魯定公死了。
孔子離開曹國到達宋國，與弟子們在大樹下演習禮儀。宋國的司馬桓魋想殺死孔子，就把樹砍掉了。孔子只得離開這個地方。弟子們催促說：“我們可以快點走了。”孔子說：“上天既然把傳道德的使命賦予我，桓魋他又能把我怎麽樣!”
孔子到了鄭國，與弟子們走失散了，孔子壹個人站在外城的東門。鄭國人有看見了就對子貢說：“東門有個人，他的額頭像唐堯，脖子像臯陶，肩膀像鄭子產，可是從腰部以下比禹短子三寸，壹副狼狽不堪、沒精打采的樣子，真像壹條喪家狗。”子貢見面把原話如實地告訴了孔子。孔子高興地說道：“他形容我的相貌，不壹定對，但說我像條喪家狗，對極了!對極了。”
孔子於是到達陳國，寄住在司城貞子家裏。過了壹年多，吳王夫差來攻打陳國，奪取了三個城邑才退兵。趙鞅攻打朝歌。楚國包圍了蔡國，蔡國遷移到吳地。吳國在會稽打敗了越王勾踐。
有壹天，許多只隼(sǔn，損)落在陳國的宮廷中死了，有隼(hù,戶)木做的箭穿在身上，箭頭是石頭制做的，箭長壹尺八寸。陳湣公派使者向孔子請教，孔子說：“這些隼是從很遠的地方飛來的，這是肅慎部族的箭。從前周武王伐紂滅商，溝通了與各少數民族的民族的聯系，讓九夷百蠻各族都貢獻各自的地方特產，叫他們不能忘記自己的職責和義務。於是肅慎部族獻來楛木做的箭和石頭制作的箭頭，長壹尺八寸。周武王為了顯示他的美德，就把肅慎部族的箭分給長女太姬，後來太姬嫁給了虞胡公，虞胡公又封在陳國。當初王室分珍寶玉器給同姓諸侯，是為了表示重視親族;把遠方的貢品分贈給姓諸侯，是為了表示重視親族;把遠方的貢品分贈給姓諸侯，是為了讓他們不要忘服從周王朝。所以把肅慎部族的箭分給陳國。”陳湣公聽了叫人到過去收藏各方貢物的倉庫中去找壹找，果然找到了這種箭。
孔子在陳國居住了三年，正好遇上晉國、楚國爭霸，兩國輪番攻打陳國，直到吳國攻打陳國為止，陳國常常遭受侵犯。孔子說：“回去吧，回去吧!我家鄉的那些弟子，誌氣很大，只是行事闊壹些，他們都很有進取心，也沒有忘記自己的初衷。”於是孔子就離開了陳國。
孔子路過壹個叫蒲的地方，正好遇上公叔氏據蒲反叛衛國，蒲人扣留了孔子。弟子中有個叫公良孺的，自己帶了五輛車子跟隨孔子周遊各地。他這個人身材高大，有才德，且有勇力，對孔子說：“我從前跟隨老師周遊在匡地遇到危難，如今又在這裏遇到危難，這是命裏註定的吧。我和老師壹再遭難，可搏鬥而死。”公良孺跟蒲人打得很激烈，蒲人害怕了，對孔子說：“如果妳不到衛國去，我就放妳們走。”孔子與他們訂立了盟約，這才放孔子他們從東門出去。孔子是到了衛國。子貢說：“盟約可以違背嗎?”孔子說：“在要挾下訂立的盟約，神是不會認可的。”
衛靈公聽說孔子到來，很高興，親自趕到郊外迎接。靈公問孔子說：“蒲這個地方可以討伐嗎?”孔子回答說：“可以。”靈公說：“我的大夫卻認為不可以討伐，因為現在的蒲是防禦晉，楚的屏障，用我們衛國的軍隊去攻打，恐怕是不可以的吧?”孔子說：“蒲地的男子有誓死效忠衛國的決心，婦女有守衛西河這塊地方的願望。我所說要討伐的，只是四、五個領頭叛亂的人罷了。”衛靈公說：“很好。”但是沒有出兵去討伐的叛亂。
衛靈公年紀老了，懶得處理政務，也不起用孔子。孔子長嘆了壹聲說：“如果有人起用我，壹年時間就差不多了，三年就會在大見成效。”孔子只好離開。
佛肸(xī，西)做中牟的長官。晉國的趙簡子攻打範氏、中行氏，討伐中牟。佛肸就占據中牟，反叛趙簡子，並派人招請孔子孔子打算去。子路說：“我聽老師說過：‘親自做壞事的人那裏，君子是不去的’。現在佛肸自己占據中牟反叛，您想前去，這是為什麽呢?”孔子說：“我是說過這句話。但我不也說過，堅硬的東西是磨不薄的;不也說過潔白的東西，是染不黑的。我難道是只中看不能吃的匏瓜嗎，怎麽可以老是掛著卻不給人吃呢?”
有壹次孔子正敲著磬，有個背著草筐的人路過門口，說道：“有心思啊，這個擊磬人，磬敲得又響又急，既然人家不賞識自己，那就算了吧!”
孔子向師襄子學習彈琴，壹連學了十天，也沒增學新曲子。師襄子說：“可以學些新曲了。”孔子說：“我已經熟習樂曲了，但還沒有熟練地掌握彈琴的技法。”過了些時候，師襄子又說：“妳已熟習彈琴的技法了，可以學些新曲子了。”孔子說：“我還沒有領會樂曲的感意蘊，可以學些新曲了。”孔子說：“我還沒有體會出作曲者是怎樣的壹個人。”過了些時候，孔子肅穆沈靜，深思著什麽，接著又心曠神怡，顯出誌向遠大的樣子。說：“我體會出作曲者是個什麽樣的人了，他的膚色黝黑，身材高大，目光明亮而深邃，好像壹個統治四方侯的王者，除了周文王又有誰能夠如此呢!”師襄子恭敬地離開位給孔子拜了兩拜，說：“我老師原來說過，這是《文王操》呀”。
孔子既然得不到衛國的重用，打算西遊去見趙簡子。到了黃河邊，聽到竇鳴犢、舜華被殺的消息。就面對著黃河感慨地嘆氣說：“壯美啊黃河水，浩浩蕩蕩多麽盛大，我所以不能渡過黃河，也是命運的安排吧!”子貢趕上前去問：“冒 昧地請問老師，這話是什麽意思?”孔子說：“竇鳴犢、舜華兩個人，都是晉國有才德的大夫。當趙簡子還沒有得誌的時候，是依靠這兩個人才得以從政的`;等到他得誌了，卻殺了他們來執掌政權。我聽說過，壹個地方剖腹取胎殺害幼獸，麒麟就不來到它的郊野，排幹了池塘水抓魚，那麽龍就不調合陰陽來興致雨了，傾覆鳥巢毀壞鳥卵，鳳凰就不願來這裏飛翔。這是為什麽呢?君子忌諱傷害他的同類。那些鳥獸對於不義的行為尚且知道避開，何況是我孔丘呢!”於是便回到老家陬鄉休息，創作了《陬操》的琴曲來哀掉竇鳴犢、舜華兩們賢人。隨後又回到衛國，寄住在蘧伯玉家。
有壹天，衛靈公向孔子問起軍隊列陣作戰的事。孔子回答說：“祭祀的事我倒曾經聽說過，排兵布陣的事，我還不曾學過呢。”第二天，衛靈公與孔子談話的時候，看見空中飛來大雁，就只顧擡頭仰望，神色不在孔了身上。孔子於是就離開了衛國，再往陳國。
這年夏天，衛靈公死了，他的孫子輒立為國君，這就是衛出公。六月間，趙鞅把流亡在外的姨靈公太子蒯聵接納到戚地。陽虎讓太子蒯聵穿上孝服，又讓八個人空麻帶孝，裝扮成是從衛國來接太子回去奔喪的樣子，器著進了戚城，就在那裏住了下來。冬天，蔡國遷都到州來。這壹年是魯哀公三年，孔子已六十歲了。齊國幫助衛國包圍了戚城，是因為衛太子蒯聵在那兒的緣故。
還是這壹年夏天，魯桓公、釐公的廟堂起火燒了起來。南宮敬叔去救火。孔子在陳國聽到了這個消息，就說：“火災壹定在桓公、釐公的廟堂吧?”不久證實，果然如他所言。
這年秋天，季桓子病重乘著輦車望見魯城，感慨地長嘆壹聲說：“從前這個國家幾乎興旺了，因為我得罪了孔子，所以沒有興旺起來。”回頭又對他的嗣子季康子說：“我要是死了，妳壹定會接掌魯國的政權佐國君;妳佐國君之後，壹定要召回孔子。”過了幾天，季桓子死了，季康子繼承了他的職位。喪事辦完之後，想如回了孔子。大夫公之魚說：“從前我們的國魯定公曾經任用過他，沒能有始有終，最後被諸侯恥笑。現在妳再任用他，如果也不能善終，這會再次招來諸侯的恥笑。”季康子說：“那麽召誰才好呢?”公之魚說：“壹定要召冉求。”於是就派人召回了冉求。冉求準備起身前往，孔子說：“這次魯國召冉求回去，不會小用，該會重用他。”就在這壹天，孔子說：“回去吧，回去吧!我家鄉的那些弟子誌向高遠而行事疏闊，為文富有文采，我真不知從何下手來教育他們才好。”子貢知道孔子思念家鄉想回去，在送冉求時，叮囑過他“妳要是被重用了，要想著把老師請回去”之類的話。
冉求離去之後，第二年，孔子從陳國移居蔡國。蔡昭公準備到吳國去，是吳國召他去的。從前昭公欺騙他的大臣，把國都遷到了州來，這次將要前往，大夫們提心他又要遷都，公孫翩就在路上把蔡昭公射死了。接著，楚軍就來侵犯蔡國。同年秋天，齊景公死了。
第二年，孔子從蔡國前往葉地。葉公問孔子為政的道理，孔子說：“為政的道理在於招納遠方的賢能，使近處的人歸服”。有壹天。葉公向子路問孔子的情況，子路不回答。孔子聽說這件事後就對子路說：“仲由，妳為什麽不對他說：‘他這個人呀，學習起道理來不知疲倦，教導人全不厭煩，發憤學習時忘記了吃飯，快樂時忘記了憂愁，以致於連衰老就將到來也不知道’。”
孔子離開楚國的葉地回到蔡國。在路上遇見長沮、桀溺兩人並肩耕田，孔子以為他們是隱士，就叫子路前去打聽渡口在什麽地方。長沮說：“那個拉著馬韁強的人是誰?”子路回答說：“是孔丘。”長沮又問：“是魯國的孔丘吧?”子路說：“是的。”長沮說：“那他應該知道渡口在哪兒了。”桀溺又問子路：“妳是誰?”子路說：“我是仲由。”桀溺說：“妳是孔丘的門徒嗎?”子路說：“是的。”桀溺說：“天下到處都在動蕩不安，而誰能改變這種現狀呢?況且妳與跟著那逃避暴亂臣的人四處奔走，還不如跟著我們這些躲避亂世的人呢?”說完，就繼續不停地耕田。子路把此話告訴了孔子，孔子失望地說：“我們不能居住在山林裏與鳥獸同群，要是天下太平，我也用不著到處奔走想改變這個局面了”。
有壹天，子路壹個人行走的時候，路遇壹位肩扛除草工具的老人。子路問他：“您看見過我的老師嗎?”老人說：“妳們這些人四肢不勤勞，五谷分辨不清，誰是妳的老師我怎麽會知道?”說完就拄著拐杖拔草去了。事後子路把這些經過告訴了孔子，孔子說：“這是位隱士。”叫子路再到那裏看看，老人已經走了。
孔子遷居到蔡國三年，吳國攻打陳國。楚國救援陳國，軍隊駐紮在城父。聽說孔子住在陳國和蔡國的邊境上，楚國便派人去聘請孔子。孔子正要前往拜見接受聘禮，陳國、蔡國的大夫商議說：“孔子是位有才德的賢人，他所指責諷刺的都切中諸侯的弊病。如今長久地停留在我們陳國和蔡國之間，大夫們的施政施、所做所為都不合仲尼的意思。如今的楚國，是個大國，卻來聘請孔子。如果孔子在楚國被重用，那麽我們陳蔡兩國掌權的大夫們就危險了。”於是他們雙方就派了壹些服勞役的人把孔子圍困在野外。孔子和他的弟子無法行動，糧食也斷絕了。跟從的弟子餓病了，站都站不起來。孔子卻還在不停地給大家講學，朗誦詩歌、歌唱、彈琴。子路很生氣地來見孔子：“君子也有困究的時候嗎?”孔子說：“君子在困窘面前能堅節操不動搖，人小遇到困窘就會不加節制，什麽過火的事情都做得出來。”
這時子貢的臉色也變了。孔子說：“賜啊，妳認為我是博學強記的人嗎?”子貢回答說：“是的。難道不對嗎?”孔子說：“不是的。我是用壹種基本原則貫穿於全部知識之中的。”
孔子知道弟子們心中不高興。便叫來子路問道：“《詩經》上說‘不是犀牛也不是老虎，然而它卻排徊在曠野上’，難道是我們學說有什麽不對嗎?我們為什麽會落到這種地步呢?”子路說：“大概是我們的德還不夠吧?所以人家不信任我們;想必是我們的智謀還不夠吧?所以人家不放我們通行。”孔子說：“有這樣的話嗎?仲由啊，假使有仁德的人必定能使人信任，哪裏還會有伯夷、叔齊餓死在首陽山呢?假使有智謀的人就能早行無阻，哪裏會有王子比幹被剖心呢?”
子路退出，子貢進來見孔子。孔子對子貢說：“賜啊，《詩經》上說‘不是犀牛也不是老虎，然而它卻徘徊在曠野上’。難道是我們的學說有有什麽不對嗎?我們為什麽落到這種地步呢?“子貢說：“老師的學說博大到極點了，所以天下沒有壹個國家能容納老師。老師何不稍微降低壹些您的要求呢?”孔子說：“賜啊，好的農夫雖然善於耕種，但他卻不壹定有好的收獲;好的工匠雖然不精巧的手藝，但他的所作卻未必能使人們都稱心如意。有修養的人能研修自己的學說，就像網壹樣，先構出基本的大納統緒，然後再依疏理紮，但不壹定被世人所接受。現在妳不去研修自己的學說，反而想降格來敬合取容。賜啊，妳的誌向太不遠大了。”
子貢出去之後，顏回進來見孔子。孔子說：“回啊，《詩經》說‘不是犀牛也不是老虎，然而它卻徘徊在曠野上’。難道是我們的說學有什麽不對嗎?我們為什麽落到這種地步呢?”顏回說：“老師的學說博大到極點了，所以天下沒有壹個國家能容納老師。雖然是這樣，老師還是要推行自己的學說，不被天下接受又有什麽關系呢?不被接受，這樣才能出君子的色!壹個人不研修自己的學說，那才是自己的恥辱。至於已下大力研修的學說不被人所用，那是當權者的恥辱了。不被天下接又有什麽關系呢?不被接受，這樣才能顯出君子的本色!”孔子聽了欣慰地笑著說：“是這樣的啊，姓顏的小夥子!假使妳有很多錢財，我願意給妳做管家。”
於是派子貢到楚國去。楚昭王調動軍隊來迎接孔子，這才除了這場災禍。
楚昭王想把有戶籍登記的七百裏地方封給孔子。楚國的令尹子西阻止說：“大王派往各侯國的使臣，有像子貢這樣的嗎?”昭王說：“沒有。”子西又問：“大王的左右輔佐大臣，有像顏回這樣的嗎?”昭王說：“沒有。”子西又問：“大王的將帥，有像子路這樣的嗎?”昭王回答說：“沒有。”子西還問：“大王的各部主事官員，有像宰予這樣的嗎?”昭王回答說：“沒有。”子西接著說：“況且我們楚國的祖先在受周天子分封時，封號是子爵，土地跟男爵相等，方圓五十裏。現在孔丘講述三皇五帝的治國方法，申明周公旦、召公奭輔佐周天子的事業，大王如果任用了他，那麽楚國還能世世代代保有方圓幾千裏的土地嗎?想當年文王在豐邑、武王在鎬京，作為只有百裏之地的主，最終能統治天下。現在如讓孔丘擁有那七百城土地，再加上那些有才能的弟子輔佐，這不是楚國的福音啊。“昭王聽了就打消了原來的想法。這年秋天，楚昭死在城父。