Đang là Thiếu tướng trong quân đội nước bạn nhưng nghe tin Cách mạng Tháng Tám 1945 thành công, ông đã đề xuất nguyện vọng và được các đồng chí lãnh đạo Trung Quốc đồng ý cho về nước tham gia công cuộc bảo vệ nền độc lập non trẻ của Tổ quốc. Chủ tịch Hồ Chí Minh và Thường vụ Trung ương Đảng lập tức cử ông vào miền Nam đảm nhiệm cương vị Chủ tịch Ủy ban Kháng chiến miền Nam Việt Nam. Tháng 6-1946, ông được phân công làm Tư lệnh Chiến khu 5 và 6. Nhận thấy trình độ đội ngũ cán bộ trong quân chủ lực còn yếu, ông ra lệnh mở Trường Võ bị Lục quân Quảng Ngãi, một trong những trường quân sự chính quy đầu tiên của Quân đội ta. Ông trực tiếp làm Hiệu trưởng, trực tiếp giảng bài cả chính trị và quân sự mà không cần mang theo giáo án...
Là một vị tướng đã trải qua đủ mùi gian khổ trong cuộc "Vạn lý trường chinh" nên Nguyễn Sơn đặc biệt chú trọng việc rèn luyện trong đào tạo cán bộ. Các học viên Khóa I Trường Võ bị Lục quân Quảng Ngãi kể rằng: Ông rất nghiêm khắc, sáng nào cũng bắt học viên tập chạy 4-5km. Ông luôn dậy trước và dẫn đầu hàng quân, học viên thấy thế không chạy không xong. Rừng sâu Quảng Ngãi luôn “dậy sớm” vì đoàn quân chạy sáng. Nguyễn Sơn luôn cố ý dẫn học viên chạy qua sông, suối nhỏ. Về đến chỗ trú quân, ông đôn đốc mọi người ra tắm sông, dù có những hôm trời lạnh. Khi tổ chức hành quân rèn luyện, ông trực tiếp kiểm tra cân nặng của từng người, không cho phép ai thiếu vũ khí, lương thực, túi nước... Dọc đường hành quân, ông trực tiếp kiểm tra, không để ai làm rơi rớt trang bị, yêu cầu hành quân rèn luyện phải nghiêm cẩn như khi chiến đấu. Nhiều học viên rất “ngán” ông, gọi ông là ông “trực tiếp” với ý chê trách một vị tướng mà có tác phong cụ thể, tỉ mỉ như... tiểu đội trưởng! Nhưng không lâu sau đó, những học viên khi vào trường sức khỏe yếu, qua rèn luyện bỗng cường tráng, cứng rắn hẳn lên, sức chịu đựng gian khổ được nâng cao. Ai cũng phấn khích vì nhờ khổ luyện mà bản lĩnh nâng lên rõ rệt. Nhiều đồng chí học viên Khóa I Trường Võ bị Lục quân Quảng Ngãi sau này trở thành cán bộ cấp tướng, cán bộ chủ trì, cốt cán trong Quân đội ta.
Đại tướng Võ Nguyên Giáp đã viết về Thiếu tướng Nguyễn Sơn: “Anh Sơn rất coi trọng đào tạo cán bộ. Trong phong trào luyện binh, anh đã rất thành công và đưa ra một hình thức huấn luyện được áp dụng trong toàn quân và nhân dân: “Đại hội tập”.
HỒNG HÀ