林銘前幾天和府縣衙門的快班頭子充分的交流，初步掌握了高舜欽在廣州的活動規律。和所有大員一樣，高舜欽在廣州活動范圍不大，除了上衙、拜客和官僚大戶之間的酬酌之外，很少外出。因為他強烈的攘夷主張，與當地在對外貿易中獲得了大筆灰色收益的廣州官場的政見分歧很大，所以他和廣州官場來往不多。大部分時間都在自己的的宅邸之中。
林銘專門踏勘了整個高宅。高宅面積不大，是一座前后三進院落，外帶東西兩跨院，外帶花園一座的中型住宅，過去是廣州某洋商的私邸。因為是富商之家，修建的時候房屋的用料用工都非常的講究，清水磚的圍墻極高，至少都有二丈四五尺的模樣。不借助工具根本不能爬上墻頭。
所有門戶均有鎖，門戶鑰匙統一由管家娘子掌握，每日晚上繳回上房。入夜之后各院全部關門落鎖，主要門戶均有專人看守，而沿著整個圍墻，整晚都有家丁更夫巡邏守護。應該說這番布置是相當嚴謹的。
而且內書房在宅邸的核心部位，如果說有人能在黑漆漆的夜晚翻過高墻，躲過巡邏，深入宅邸的深處，最后神不知鬼不覺的將高舜欽這么個大活人帶走，林銘認為這是不可能的。雖然世上流傳著很多來無影去無蹤的飛賊傳說，但是林銘家是世襲的錦衣衛。他自小耳熏目染，聽長輩說過許多案子，年紀輕輕就見多識廣，自己經辦過的案子也不少，知道其中夸大的成分極多。他認為若真得是有人將高舜欽綁走，在高宅內必有內應。
在拷問嫌疑犯上，他可沒有余葆存那么猶猶豫豫，瞻前顧后了――余葆存連高宅里有頭臉的大丫鬟也不敢用刑，只是傳喚來訊問幾聲就算過場了。在林銘看來簡直就是“放縱”。
除了蘇愛是高巡按的寵妾，事情不明朗前暫時免去皮肉受苦只讓她“陪審”之外。由廣州府出牌子，又將當晚看守門戶的門政、更夫、家丁，負責管理鑰匙的管家娘子甚至蘇愛的貼身丫鬟全部提來連夜嚴刑拷打。鞭子、板子的敲撲，一眾人犯的嚎哭……鬧得行人寧可繞遠也不從廣州府衙前經過。
林銘一度懷疑管家娘子――她是廣東本省人，勾結本地匪類有天然的優勢，而且她掌管鑰匙，對府邸內的道路、作息十分清楚，是極有用的內應。因而吩咐李永薰重點拷問此人。
李永薰因為是鬧著跟來和表姐夫“一起辦案”的，為了表現自己不是無用的累贅，在拷打犯人上十分賣力。她家原本就有祖傳的手藝。下手整治起女犯來更是毫不含糊，一干仆婦、丫鬟被她折磨的死去活來。“陪審”的蘇愛干脆嚇得昏了過去，關照人把她扶走得時候李永薰發覺凳子上濕淋淋的。
“看人家吃幾下鞭子就嚇得瀨尿了。”李永薰一臉的不屑一顧，“真是比大小姐還大小姐。”
管家娘子受刑不過終于供認：高巡按不見的當天早晨，更夫發現后院門的鎖是打開得。當時報告到她那里。管家娘子恐怕是自己失職未查，一旦報上去會被主家見責，而且粗粗看去并無竊賊行竊的痕跡，便叫人又將門重新鎖好，讓眾人不要言聲。等后來聽說老爺失蹤了，愈發不敢將此事聲張出去了。
林銘如獲至寶，又將當時的其他幾個人拘來拷問，各人供述果然契合。現在高巡按是如何消失的算是大體明了了：不管是高巡按被人綁出去，還是自己走出去，顯然都是從后院那扇打開的門出去得。
問題是其中還有許多環節弄不清楚，即使再拷問也還是查不出內應是誰。但是這時候他得到了靖海門那邊的消息。林銘覺得此事有了新得突破口，立刻帶人沿途追查下去。
以錦衣衛的聲勢，只要亮出牌子，沿途士民工商無不問一答十，不敢隱瞞分毫。而一大早就出城的轎馬又的確很惹眼，所以很快很快就得到了消息，一行人出廣州之后立刻上了去往佛山鎮的官路。