У гімназії він здобув міцні знання давніх класичних мов, і саме їм було присвячено його перший літературний досвід, що з’явився друком під прізвищем Соловйов. Це була промова, яку він виголосив на випускному гімназійному акті — «Про значення давніх класичних мов при вивченні мови вітчизняної». Заняття давніми мовами він продовжив і в університеті, де на слухачів тоді особливо сильно впливав професор римського красномовства Д. Л. Крюков, який читав яскраві, новаторські лекції з давньої історії.