작사가인 하버그는 알렌의 작곡을 돕기 위해 줄거리와 관련된 아이디어나 제목을 제안하면서 가사를 썼다고 하는데, 그가 영감으로 떠올린 설정은 "곤경에 쳐하여 캔자스(건조하고 무색인 곳)로부터 벗어나고 싶어하는 어린 소녀를 위한 발라드. 그 아이는 살면서 무지개 이외엔 화려한 것을 본 적이 없다."였습니다.
그러던 어느 날 알렌은 아내와 함께 그라우먼스 차이니스 극장(Grauman's Chinese Theatre)으로 가던 길에 지나친 선셋 대로의 슈왑 약국(Schwab's Drug Store)에서 갑작스럽게 영감을 떠올렸고, 그 자리에서 늘 들고 다니던 음악용지에 'Over the Rainbow'의 곡조를 메모했습니다.
도로시가 계속해서 도움을 요청하자 엠 이모는 별것도 아닌 일에 난리를 친다며 묵살하고는 "어떠한 말썽도 생기지 않을 곳에 가 있어라"라는 말을 남기고 떠납니다. 그러자 도로시는 토토에게 "그곳은 매우 먼 곳이지만 분명히 있을 것"이라고 말하면서 노래를 부르기 시작합니다.