1926年，廖耀湘考入黄埔军校第六期骑兵科。

1930年5月，廖耀湘参加了留学考试，成绩列前三甲，最终确定名额却被刷下来了，理由是他个子矮，其貌不扬。后以上士资格被蒋介石钦点公费留学法国圣西尔军校。

1936年，以机械化骑兵专业第一名成绩毕业。同年回国，任国民革命军中央军校教导总队骑兵队少校连长，军士营学兵连连长。

1937年，“卢沟桥事变”爆发后，调任中校营长，不久调任第二旅中校参谋主任。11月，日寇逼近南京，廖耀湘参加了南京保卫战。12月13日，南京陷落，日军进城后，廖耀湘被困在城中，脱险至汉口，曾以“南京战役之经验及国军今后建军应有之改进”为题，上书蒋介石，蒋破格升任他为第二百师少将参谋长。9月，该师扩编为第五军，廖耀湘任该军第二十二师少将副师长。

1938年初，国民政府成立了第一支机械化师第200师，专门在法国进修机械化作战的廖耀湘任少将参谋长。9月，第200师扩编为新11军，廖耀湘转任22师副师长。