Maar Gershwin nam geen genoegen met het succes van zijn Broadway-carrière. Zijn fascinatie voor de muziek van de Europese modernisten als Schönberg en Stravinsky deed hem verlangen naar een synthese van beide werelden. In 1923 kreeg hij de kans om dat waar te maken toen jazzbandleider Paul Whiteman hem om een orkestwerk vroeg voor een concert in de New Yorkse Aeolian Concert Hall op 12 februari 1924. Whiteman kondigde het evenement aan als ‘An Experiment in Modern Music’, waarmee hij de vooruitgang van de populaire muziek wilde aantonen door nieuwe muziek te laten horen die geïnspireerd was door de jazz. De legende wil dat Gershwin dit aanzoek vergat, tot hij in januari 1924 een aankondiging voor het concert in de krant zag. Hij begon als een gek te componeren, om drie weken later zijn ‘American Rhapsody’ af te werken. Op enkele details na, maar dat loste Gershwin op tijdens de première, al improviserend aan de piano.

Enkele jaren later schreef Gershwin in een brief hoe hij tot de compositie gekomen was:

“Het was in de trein, gewiegd door zijn staalharde ritmes, zijn ratel-ty-bang die zo vaak inspirerend is voor een componist… Daar hoorde ik plotseling – ik zag het zelfs op papier – de volledige opbouw van de rapsodie, van begin tot eind. Er kwamen geen nieuwe thema's bij me op, maar ik werkte verder aan het thematische materiaal dat ik al in gedachten had, en ik probeerde vorm te geven aan de compositie als geheel. Ik hoorde het als een soort muzikale caleidoscoop van Amerika; van onze gigantische smeltkroes, van onze kenmerkende nationale levendigheid, van onze blues, onze grootstedelijke waanzin."

Volgens de gangbare praktijk in Broadway schreef Gershwin de compositie oorspronkelijk uit voor twee piano’s. Daarop werkte Ferde Grofé, huisarrangeur van Paul Whitemans jazzband, de orkestpartijen verder uit. Die jazzband zag er tijdens de première in 1924 heel anders uit dan de orkesten die Rhapsody in Blue vandaag uitvoeren: naast een veel kleinere bezetting waren onder andere een banjo en celesta in het allereerste arrangement te horen. Ook de beroemde openingsglissando op de klarinet had Gershwin aanvankelijk als toonladder genoteerd. Tijdens een van de vele repetities speelde de klarinettist het bij wijze van grap als een lange glissando. Die nestelde zich, samen met de rest van het werk, voor altijd in het collectieve geheugen.