經過一番深思之后，兩人決定為死去的親人報仇，依靠著祖父遺留下來的十三副鎧甲起兵，拉起了一支百余人的隊伍，開始了創建后金的‘偉大’事業。
在創業歲月中，舒爾哈齊成為了兄長努爾哈赤的得力助手和主要戰將。
萬歷二十三年（1595年）八月，舒爾哈齊首次帶領建州女真朝貢使團前往北京進貢，這次的經歷使他眼界大開。
他對自己屈居在兄長的屬下的地位感到不滿，他希望有朝一日當上建州女真的最高統治者。與此同時他對先進的農耕文明和文化產生了濃厚的興趣。
萬歷二十五年（1597年）七月，舒爾哈齊第二次進北京朝貢，這次的經歷更助長了他的野心。他到達北京后受到了明朝廷熱烈隆重的接待，并被賞賜給了豐厚的金銀綢緞等禮物。同時，明廷還授予了他都指揮的高級武職。明朝以此做為一種戰略對策，盡力拉攏和收買努爾哈赤的對手及反對者，在兩者間進行挑撥，以激化彼此的矛盾。
為此舒爾哈齊也確實感激明朝的恩寵，他感恩于明朝，在政治態度上越來越傾向于明朝。
舒爾哈齊除了積極的與明朝發展密切關系之外，他還通過政治聯姻的形式加強與其他各個女真部落的聯系，借以擴大他的個人實力和影響。
萬歷二十四年（1596年），舒爾哈齊娶了烏拉部落的貝勒布占泰的妹妹為妻，第二年他又將自己的女兒額實泰嫁給了布占泰。舒爾哈齊同樣也與朝鮮保持著相當密切的關系，朝鮮使者到建州，對于努爾哈赤和舒爾哈齊見面行相同的禮儀，并向兩人饋贈同樣的禮物。他們二人也分別屠宰豬羊，各自在帳中款待朝鮮使者，并回贈禮物。
朝鮮國王也樂意在兩位建州首領之間周旋，對他們實行雙重承認的原則，這與明朝的手法如出一轍。
隨著女真各部的統一，努爾哈赤擁有了足夠的力量與明朝對抗，他對明朝的敵視態度也日益明顯，他的下屬也時常和明軍發生武裝沖突。
明朝對遼東的局勢感到不安。萬歷二十九年（1601年）明廷又起用了被罷免的前遼東總兵李成梁，希望他能扭轉當時那惡劣的局勢。
李成梁上任伊始，就采用了原來對女真各部的分化瓦解政策。他利用了舒爾哈齊和他兄長的矛盾，大力拉攏他，對他恩禮有加，格外器重。李成梁讓兒子李如柏娶了舒爾哈齊的女兒為妾，使雙方關系更為緊密。
萬歷三十三年（1605年），舒爾哈齊的妻子病故，李成梁父子準備了豐厚的祭禮前去治喪，備極隆重。面對明朝的恩寵，舒爾哈齊更加感激，他決心依靠明朝為后臺，樹立自己的女真最高領袖的地位。
舒爾哈齊明目張膽地樹立個人的權威，逐漸構成了對努爾哈赤地位的挑戰，兩人的關系也日益緊張，在諸貝勒共同參加的會議上，兩人常因意見相左而激烈爭吵，努爾哈赤開始意圖除去他這個潛在的對手。
萬歷三十五年（1607年）三月，居住在蜚悠城的一小支女真部落，由于不堪忍受臨近的烏拉部的奴役，想來依附努爾哈赤。
努爾哈赤派出了舒爾哈齊和自己的兒子褚英、代善，將領費英東、揚古利、常書、扈爾漢領兵三千，前往蜚悠城收編該部。
當舒爾哈齊等人行至半途的時候，他就滿腹狐疑的對同行的將領說看到帥旗上有一層淡淡的幽光，想要退兵。不過在褚英、代善的反對下，只能作罷。
到達蜚悠城后，該部落酋長策穆特黑帶領的五百戶人丁早以做好了出發的準備，于是很快這支隊伍就踏上了返回的道路。
烏拉貝勒布占泰得知消息后，立即帶領一萬騎兵趕來攔擊，雙方軍隊擺出了交戰的陣勢。
但這時，舒爾哈齊卻帶著自己屬下的五百人退到了一邊，他不想破壞與姻親的友好關系。
只有褚英、代善率軍英勇奮戰，舒爾哈齊只在一邊觀看，他的部下常書、納齊布也沒有加入戰斗。
正是由于舒爾哈齊的消極退避，最后褚英、代善雖然打敗烏拉騎兵，但是沒能給以致命打擊。
舒爾哈齊班師回朝之后，努爾哈赤準備將他的下屬常書、納齊布以臨陣脫逃的罪名處死，以剪除他的左膀右臂同時也是殺雞儆猴。
但是舒爾哈齊的反應十分強烈，說殺他們就是等于殺我，誓不低頭，大有決以死戰的陣勢。
最后努爾哈赤為了避免公開的沖突，便做出了讓步。他只罰了常書一百兩黃金，奪了納齊布下屬的人馬，并且從此以后剝奪了舒爾哈齊指揮軍隊的權利，將他排擠出了最高軍事領導層。
萬歷三十五年（1607年），舒爾哈齊的地位一落千丈，變成了一個有名無實的人物，他痛感自己與努爾哈赤勢難并存。于是，他與長子阿爾通阿，三子扎薩克圖商議，圖謀另立門戶，與兄長分庭抗禮。
于是舒爾哈齊帶著幾個兒子和少數部下來到了鐵嶺東南的黑扯木，在那里伐木建造房屋，開辟新的根據地。
而黑扯木臨近明朝的軍事重鎮鐵嶺，可以直接依靠明朝的軍事保護，在他的東面又與烏拉部落接鄰，能隨時得到盟友的援助。
舒爾哈齊開始與努爾哈赤越來越疏遠，轉而靠近明朝了。