Corría el año 1954. Sam Phillips, el patrón de la discográfica Sun Records, buscaba desesperadamente " un blanco que tuviera un sonido negro y un sentimiento negro", alguien que le hiciera ganar "mil millones de dólares". Por aquellas fechas un joven enamorado de la música, Elvis Aaron Presley, se había pasado por estos estudios con la intención de grabar -previo pago, por supuesto- un disco de acetato con dos canciones para regalárselo a su madre y, también, con la esperanza de que alguien de esa compañía se fijara en él. Poco después, intentó formar parte del grupo The Songfellows pero no lo admitieron, dijeron que no sabía cantar y que no tenía oído para las armonías. Entonces empezó a trabajar como camionero, actividad que trató de compaginar con la música, aunque con poca fortuna; llegaron a decir que siguiera trabajando con el camión porque nunca tendría éxito como cantante. En estas circunstancias volvió a aparecer Sam Phillips, que pensó en él para defender una balada; en aquella audición Elvis cantó varias canciones para el dueño de la Sun Records; éste quedó impresionado por lo que escuchó y decidió montar una sesión de grabación con el guitarrista Winfield "Scotty" Moore, el contrabajista Bill Black y el propio Elvis.
Fue un 5 de julio de 1954, una jornada larga y más bien infructuosa hasta que Elvis tomó su guitarra y tocó "That's All Right", un viejo blues grabado inicialmente por Arthur "Big Boy" Crudup en 1946. Así lo vio el guitarrista Moore, uno de los músicos presentes aquel mágico día: "De golpe, Elvis comenzó simplemente a tocar la canción, saltando y haciendo tonterías, pero después Bill tomó su contrabajo y comenzó también a tocar y a hacer tonterías, hasta que comencé a tocar con ellos. Creo que Sam tenía la puerta de la cabina de control abierta, (...) sacó su cabeza afuera y dijo: '¿Qué estáis haciendo?' y le contestamos 'no lo sabemos'". Sam Phillips les pidió que comenzaran de nuevo y les grabó para saber si era realmente el sonido que estaba buscando. Tres días después envió esta grabación a la radio; los oyentes llamaron a la emisora para conocer el nombre del cantante negro que interpretaba aquella canción. El single fue comercializado días más tarde, tal y como fue grabado en directo: con la guitarra solista de Moore, el contrabajo de Black y la guitarra rítmica de Elvis, sin batería ni percusiones; aquel blues acelerado y desenfadado se había convertido en uno de los primeros rocanroles de la historia.
Unos meses más tarde, en diciembre de 1954, el cantante country Marty Robbins hacía su versión, en la que destaca el sonido conseguido gracias al violín. Otro pionero del rockabilly, Carl Perkins, grabó este tema en 1958. Desde entonces han sido habituales las adaptaciones country y rocanroleras ( Bob Dylan y Johnny Cash, The Beatles, Waylon Jennings, Merle Haggard, Faith Hill, The Jordanaires, etc.), aunque también las ha habido en el ámbito del blues, el blues-rock, el rock psicodélico, el rock alternativo o el hard rock, es el caso de las interpretadas por Shocking Blue, Albert King, Canned Heat, Foghat, Foreigner, Jet, Green Day o las dos elegidas para acompañar a Elvis: la del teclista Al Kooper y el guitarrista Mike Bloomfield, incluida en su doble álbum en directo "The Live Adventures of Mike Bloomfield and Al Kooper" (1968); y la del cantante Rod Stewart, que incluyó esta canción en su tercer álbum de estudio, titulado "Every Picture Tells a Story" (1971).