他並沒有因此就到失望,安帝時又出為鎮北將軍劉牢之的參軍,追隨劉牢之征討孫恩,因為看到官兵和逃兵沒有兩樣,都是一樣大肆掠奪,又興起了歸鄉之情,就在元興二年桓玄篡位稱帝之時,便暫隱避亂。
安帝義熙二年出任為建威將軍的劉敬宣的參軍,原本他還盼望安帝的大業會有統一的一天,想不到也只是傀儡而已,於是又辭官歸田。
原本他想從此棲居山林,但是由 入不敷出,不足自給,於是經由 叔父的推薦再度出任為官,任彭澤縣令,但是卻又因為他看不慣政治場合中的逢迎往來,誰知道在這年年底,郡主派督郵來視查,他的部屬居然應束帶見之,陶淵明不願為五斗米折腰,於是就辭官而去,並做歸去來辭以表明心意,至此只做了八十多日,從此便歸隱田園不再為官了。