安永７年(1778)３月、徳島城下 御弓丁(現、弓町1丁目)に藩士吉井永助直好の二男として生まれる。生誕地から吉井家は弓道を家職としていたと従来考えられていたが、実際は吉井家は小笠原流礼方として、また母方矢野家は料理方及び絵師として阿波藩に仕えた。
長じた後、遠祖の姓「貫名」を用いた。
書・儒・医学を学び、高野山で叔父霊瑞和尚のもと空海の書を学び研鑽を重ねた後、懐徳堂の都講となり、その後京都に私塾「須静堂」を開いた。
名を直知、苞、字は君茂、子善、通称は政三郎、省吾、泰次郎、雅号として、初め海仙、林屋、次いで海客、海屋、海叟、菘翁、摘菘翁、また方竹主人、須静堂、三緘主人、拾翆野客、鴨干漁夫などを使用した。