但是長于計謀的周行逢，似乎一直對身邊的人不是太信任，尤其是當初十兄弟里面的人，所以讓張文表署領衡州，轄管往嶺南方向幾地州府。張文表似乎沒有顯露什么不滿，主動出鎮衡州而且自己一直鎮守衡州，和南唐、南漢做著直接的接觸對抗。
而作為幾地割據勢力分界的重鎮的道州城，卻是委派他的堂弟張文宣負責，這個張文宣倒也是一身武藝非凡，但是卻不是那種施政的料。所以周行逢乘機派了一個人來協助，他當年跟隨身邊的一個佐官，名喚洪鋒的文人來此擔任道州司馬。
偏偏張文宣這個刺史不賣洪鋒這個司馬的帳，這個時代很少有長史和別駕附屬于刺史了，不像唐朝時代屬官齊備。何況像周行逢也不會允許，道州城這種地方刺史管轄太多，導致司馬便是刺史一般重要了。刺史雖然是張文表委派的親屬，但是不擅長政務，司馬是周行逢委派，雖然是個文職，對政事倒也井井有條。
于是乎平時道州城兩個主官，顯然便是面和心不合，知道的人都懂得兩面取舍。自然也使得作為地頭蛇的聶家，平時依仗身邊的勢力和財力，也根本不把兩個人看在眼里。
聶家發家成為一個勢力龐大的家族，真正說來就是從聶胡子的父親開始的，那時候碰到了唐末天下大亂，聶父大著膽子在一府之隔的嶺西桂州地區做那暴利生意，照實倒弄了幾次私鹽買賣，沒有想到便賺了幾分暴富的家當，自此從聶父手里聶家強大起來。
當時唐末因為割據軍閥馬殷的異軍突起，實際控制了整個湖南楚地地區二十四州，包括潭、衡、永、道、郴、邵、岳、朗、澧、辰、溆、連、昭、宜、全、桂、梧、賀、蒙、富、嚴、柳、象、容州，更設有武安、武平、靜江等五個節度藩鎮。地盤包括今天湖南全境廣西大部、貴州的東部，和后來被南漢占領的如今廣東東北許多州府，那個時候倒是顯得道州城也不是格外邊蠻。
聶父很是聰明的，和當時馬殷委派道州城的刺史拉上了關系，把半幅身家交了出去，拿給當時的刺史作為獻禮，而回報就是不但打擊了當時聶家潛在的對手，而自此和官府拉上了關系，聶家就在道州城真正的站住了腳。
聶小七的爺爺那時候是跟聶胡子的父親跑腿的下人，他知道聶胡子在十來歲的時候，因為聶父認識江湖上許多俠客，他就被嶺南深山一個江湖上的高人帶了去。二十歲之前回到道州城的時候，已經是一個飛檐走壁的高手。
聶小七自然不知道聶胡子去干什么了，他爺爺作為一個下人也不可能知道。但是聶小七的父親跟著服侍聶胡子，一次為了替聶胡子擋劍身亡，聶胡子念舊特意照顧聶小七。
所以雖然是個下人，但是聶小七在聶家還是健康長大了。聶小七不知道別的事情，但是自此聶家在聶胡子回到道州城后，短短幾年被在聶胡子帶領下，壟斷了楚地對嶺西的私鹽生意。自此生意縱穿嶺南、嶺西各地，逐漸就成了附近三百里范圍內最大的家族，就是在江湖上那也是赫赫有名。
此后聶家甚至修建了自己的城堡，方圓十余里依山傍水，取名聶家堡。近親、旁支只要愿意的都接來堡里居住，天資聰明的子弟分別授以武藝和學業，就是聶小七這種下人子弟，都是從小加以培訓。
如果是僅僅只操練武藝，聶家堡還不可能成為附近最有名望的家族之首。在聶胡子高瞻遠矚下，不少子弟習文從政，才是聶家被周圍家族認可的主要原因。