Na počátku velmi bystrý a vnímavý chlapec, který prožívá své dětství ve skromných rodinných podmínkách pražské Letné, si musel své místo na slunci vydobýt sám, mnohdy proti vůli vlastního otce, který se neodvažoval mířit příliš vysoko a pro svého syna plánoval budoucnost nejen podle svých střízlivých představ, ale hlavně podle neutěšené ekonomické situace rodiny. Když se pak Josef Charvát po maturitě přece jen rozhodl pro medicínu, otec ho odmítl podporovat, a tak se musel postavit na vlastní nohy a spoléhat jen sám na sebe. Vyplatilo se to. Stal se vynikajícím odborníkem a není divu, že byl vyhledávaným lékařem. Mezi jeho pacienty patřily i prominentní osobnosti z řad politiků, umělců a dalších osob veřejně činných.