針對天下亂局，劉伯溫建議朱元璋先攻打陳友諒，再去對付張士誠。在陳友諒大舉進攻應天時，劉伯溫出奇計，幫助朱元璋以少勝多，不僅大敗陳友諒，還讓徐達反推回了陳友諒的首府江州，江西全境歸降。朱元璋稱贊劉伯溫是“吾之子房”。
劉伯溫深得朱元璋信任，儀表堂堂，身材魁梧，能看天象風水，還會預測天氣。朱元璋平日有什么事都會找他商量，朱元璋掃滅群雄，北定中原都是采用了他的策略。
1367年，劉伯溫在元朝立法的基礎上修成《戊申大統歷》，這就是明朝的標準立法《大統歷》。明朝建立以后，劉伯溫被任命為御史中丞兼太史令，后受封為誠意伯。
與此同時，他與李善長等淮西勛貴的矛盾也愈發激烈。有一次劉伯溫查到一個叫李彬的人犯罪，此人正巧是李善長的親戚，李善長要求他予以通融，但是劉伯溫還是上報給了朱元璋。李善長由此對他更加記恨。
當時李善長正準備辭去丞相，朱元璋問劉伯溫誰合適。劉伯溫認為楊憲、汪廣洋、郭英等人皆不可用，就想讓他當丞相。
劉伯溫連忙以身體不好來推辭，朱元璋表面不說，但是心中對劉伯溫也開始不滿。恰逢天大旱，朱元璋問劉伯溫怎么辦？
一向神機妙算的劉伯溫就給朱元璋出了一個主意，朱元璋照做以后發現還是不下雨，由此遷怒于他，把他趕回老家留職查看。
臨走前還和朱元璋建議不要建都鳳陽，元朝不可輕視，后來這兩件事都被他說中了，朱元璋覺得還用得著劉伯溫，就又把他叫回了南京。
李善長退休后，朱元璋讓胡惟庸和汪廣洋進入中書省。這兩人在朱元璋面前詆毀劉伯溫，朱元璋就再次下旨讓劉伯溫回鄉。
這次劉伯溫在家鄉復習了三年，整日在深山中閉門讀書，韜光養晦，想讓皇帝放下心來。然而他千算萬算，卻還是沒料到胡惟庸無中生有的捏造出了一個罪名，說有塊地有王氣被劉伯溫強占了，意思就是說他圖謀不軌。
本著寧可信其有，不可信其無的原則，朱元璋下旨沒收了劉伯溫的俸祿。劉伯溫知道后連忙進京謝罪。
1375年，劉伯溫染病，朱元璋派胡惟庸前去送藥。然而劉伯溫吃了藥后病情卻更加嚴重，不久之后，朱元璋派人護送劉伯溫歸鄉，在回家之后就病死了，終年65歲。
5年后，胡惟庸因謀害劉伯溫等諸多罪狀被朱元璋誅殺。1513年，明朝追贈劉伯溫為太師，謚號文成。
——“但問題是朱元璋的第一謀士是李善長啊，劉伯溫基本沒有太大的存在感。”
——“劉伯溫的發育環境可比諸葛亮好太多了。”
——“正史中，真正幫朱元璋奠定天下的只有李善長，劉伯溫還真排不上號。”
——“純純被神化了，諸葛丞相才是真才實學。”