小山内薫はお金の苦労に追われつづけた人だった。舞踊や音楽の評論で活躍した蘆原英了に『僕の二人のおじさん、藤田嗣治と小山内薫』という本があって、こう書かれている。
私は、小山内の小父の最大の欠点は、金持ちでなかったことである、貧乏であったことであると思っている。
蘆原からみて画家の藤田嗣治が叔父、藤田の従兄弟が小山内薫にあたる。また蘆原の父は小山内の主治医であり、臨終にも立ち会った。そんな縁から蘆原は「借金また借金」の暮らしぶりを目のあたりにしていたのだ。
軍医の父、建が30代で早逝したあとも恩給や家作収入があったから、小山内はお坊ちゃん育ちでいられた。幕臣の娘の母錞(じゅん)は歌舞音曲好き、湘南への避暑避寒を欠かさず遊び暮らした。旧制一高に入るころ家産がつきる。東京帝大英文科に進むと、体の不自由な叔父が転がりこみ、精神に障害のある姉も家計を圧迫して、妹の八千代は針仕事をしなければならなかった。
そんな暮らしなのに、家長たるべき小山内は遊蕩(ゆうとう)にひたる。帝大在学中から新派の幕内に入り、その延長で茶屋の女主人の庇護を受け、材木商の数井政吉に導かれ花街に出入りした。