સ્વામીજી મનુષ્યત્વને પ્રાપ્ત કરાવવાના કાર્યને મુખ્ય ગણતા અને તેનેજ તે વધારે મહત્તા આપતા. સ્વામીજીના મત પ્રમાણે જે કેળવણી, જે સુધારો કે સંસ્થા મનુષ્યના દિવ્યાત્માને જાગૃત કરે અને જે જનક, રાનડે, અગસ્ત્ય કે વસિષ્ટ જેવાને ઉપન્ન કરી શકે તેજ સંસ્થા સ્પૃહણીય ગણાય. ઋષિત્વ સ્વામીજીનું આદર્શ હતું. તેમને મન આદર્શ ગૃહસ્થાશ્રમી ઋષિજ હતા. ઋષિ એટલે શું ? પવિત્ર, પ્રભુપરાયણ અને મહામુનિ અગસ્ત્ય જેવો પરાક્રમશાળી પુરૂષ. આપણાં હિંદુ શાસ્ત્રો ગૃહસ્થાશ્રમીનાં કર્તવ્ય દર્શાવતાં કહે છે કે ગૃહસ્થાશ્રમીએ પ્રભુપરાયણ થવું. ફળની ઈચ્છા રાખ્યા વગર તેણે કાર્ય કરવું અને બીજાને મદદ કરવી. તેણે દ્રવ્ય કમાવું પણ અપ્રમાણિકપણે નહિ. તેણે યાદ રાખવું જોઈએ કે તેનું જીવન પ્રભુભક્તિ અને ગરિબ તથા દુઃખીની સેવાને માટે છે. તેણે પોતાની પત્ની સિવાય અન્ય સ્ત્રી સામું જોવું પણ નહિ; તેણે તેનાં સગાં વહાલાંને સહાય અને ગરિબને દાન આપવું; તેણે હમેશાં હૃદયને શુદ્ધ રાખવું; બીજાંને મદદ કરવાને તેણે સદા તત્પર રહેવું; આખી સમાજના ટેકારૂપ તેણે થવું અને દુઃખીની સેવા કરવી. ગૃહસ્થાશ્રમીનાં આવાં આવાં કર્તવ્યનું હિંદુઓને પુરેપુરું ભાન કરાવવું એમાંજ સ્વામીજી ખરી સામાજિક સુધારણા રહેલી જોતા. આધુનિક સુધારકો જે ઉપરચોટીઓ સુધારા કરાવવા માગે છે તેને નાપસંદ કરતા. સુધારકોને તેમણે એકવાર નીચે પ્રમાણે કહેલું છે:—
“સુધારકના કરતાંએ પણ હું મોટો સુધારક છું, તેઓ અમુક ભાગોનાજ સુધારા કરવા માગે છે અને હું તો મૂળથીજ સુધારા કરવા મૂળનેજ સુધારવા ઈચ્છું છું. અમે માત્ર પદ્ધતિમાંજ જુદા પડીએ છીએ. તેઓની પદ્ધતિ જુનાની ઉચ્છેદક છે. મારી તેની પોષક છે. હું બાહ્ય સુધારો માનતો નથી; હું આંતર્ વિકાસ માનું છું.”
