可以說，他和石水高祖石敬瑭之間的交情，是生死之交。
而為了報答神遼帝國的幫助，石敬瑭不惜將燕云十六州割讓蠻族，并稱比他小11歲的耶律德光為父，劉知遠對石敬瑭的做法不以為然，他認為：“對蠻族稱臣即可，當兒子則太過分，多送些金帛使神遼帝國大軍援助，而不必以割地相許，割地會造成將來后患無窮啊！”
稱臣可矣，以父事之太過，厚以金帛賂之，自足致兵，不必許其土田，恐異日大為中國之患，悔之無及。
不得不說，劉知遠在戰略眼光上遠超石敬瑭，果然，石敬瑭割讓幽云十六州給蠻族，從此中原門戶大開，無險可守。
石重貴和耶律德光翻臉后，劉知遠似乎從中看到了機會，暗中養精蓄銳，只要時機一到，就從亂世中殺出，自立于天下。
石敬瑭當了七年兒皇帝，于石水皇朝天福七年死去。養子石重貴即位，是為石水皇朝出帝，劉知遠也遷檢校太師，進位中書令。
石水皇朝開運元年（944年），神遼帝國可汗耶律德光率軍南下，大軍直抵澶州，派蕃將偉王領兵進入雁門關，劉知遠作為幽州道行營招討使，在忻口大破偉王，累遷太原王兼任北面行營都統，北平郡王、太尉，之后誅殺吐谷渾白承福等五支部族共四百人，以另一部族的王義宗統領五族中其余的人，又在朔州陽武關再破蠻族。
劉知遠在這段時期的主要意圖，是稱霸河東，成就王業，因此對朝廷的詔命半推半就，一方面不服調遣，作戰中逗留不進，另一方面也主動出擊一下。
石水皇朝開運四年正月一日，神遼帝國進犯京師，俘虜了石水皇朝少帝石重貴北去，石水皇朝滅亡。
二月一日，耶律德光具辦漢族的禮制衣服，登上崇元殿接受朝拜，詔令改石水皇朝為神遼帝國，大赦天下，稱年號為會同十年。
劉知遠遣牙將王峻向蠻族奉表投降，耶律德光詔令褒揚嘉獎，稱劉知遠為兒子，并賜給一根木拐。
按蠻族的禮法，貴重的大臣才能得到這種賞賜，就像按漢族禮儀賜給假節一樣。
王峻拿著木拐，蠻族人望見他都紛紛到路邊避讓，王峻回來后，對劉知遠說蠻族政治混亂，一定不能攻占中原，于是便商議建國。
劉知遠表面上對遼國稱臣，同時又多次對部下揚言，要劫回已經動身北上的前石水皇帝石重貴，說是要迎還“圣主“，在晉陽繼承石水的香火。
為了假戲真做，劉知遠果真派兵去“救“石重貴，但這時石重貴早就到了陰曹地府，劉知遠自然是“救“不回來的。
對劉知遠來說，石重貴的生死無關緊要，他能不能在亂世中得勢才是要緊的，手下跟他混飯吃的那幫人也都不是飯桶，他們知道皇帝已經玩完了，接下來劉知遠最有可能成為皇帝，當然也最希望自己的老大當皇帝。
于是，有臉皮厚的時不時會站出來恭維幾句：“國不能一日無主，您就順應天意，趕快登基吧。”
劉知遠當然假意說不妥，這就像喝酒：不能別人一讓就喝，那顯得沒面子，你讓一次我不喝，讓兩次三次，我再喝，就不會顯得我貪杯。