Oficiálnímu navázání diplomatických styků předcházela intenzivní spolupráce související s aktivitami československých legií v sovětském Rusku. Japonská strana československým jednotkám poskytovala především materiální vybavení a také se podílela na zajištění řady legionářských transportů, z nichž mnoho projelo Japonskem přímo. V září 1918 japonská vláda oficiálně uznala Československou národní radu za svrchovanou moc nad spojeneckou československou armádou. Už v listopadu 1918 bylo v Tokiu zřízeno legionářské zastoupení, v jehož čele stál Václav Němec. Jeho působení bylo vymezeno podobně jako činnost vojenského atašé. Vykonával také některé přidružené aktivity jako zpravodajství či oficiální jednání s japonskými představiteli. Během následujících dvou let existovaly zcela jasné snahy přetvořit Němcovu funkci delegáta Národní rady v diplomatický post vojenského atašé a chargé d'a ffaires československé vlády. Japonská strana se nicméně k těmto tendencím nestavěla příznivě také proto, že Němec nebyl podřízen československému ministerstvu zahraničních věcí, nýbrž legionářskému Úřadu mimořádného plnomocníka ČSR pro Dálný Východ.

K formálnímu navázání diplomatických styků mezi ČSR a Japonskem došlo až 12. ledna 1920, kdy byl udělen agrément pro Karla Perglera, který se tímto stal prvním československým vyslancem v Japonsku. Pověřovací listiny předal v Tokiu 14. dubna 1920 do rukou korunního prince Hirohita. 17. října 1921 bylo otevřeno japonské vyslanectví v Praze. Prvním japonským vyslancem v ČSR byl ještě téhož roku jmenován Harukazu Nagaoka. V roce 1927 byl v Praze zřízen rovněž japonský honorární konzulát a jakýmsi formálním vrcholem meziválečných politických vztahů byla návštěva bratra císaře, prince Takamacua, s chotí. Jinak probíhaly v tomto období vzájemné styky především na obchodní bázi.

Při zpracování textu byly mimo jiné použity informace obsažené v článku Jana Levory uveřejněném v Informačním Bulletinu Deset let česko-japonských vztahů, který v roce 2003 vydalo Velvyslanectví Japonska v ČR.