"Love This Giant" jest owocem twórczego dialogu, który odbywał się na przestrzeni ostatnich trzech lat pomiędzy Davidem Byrnem i Annie Clark (nagrywa i występuje pod pseudonimem St. Vincent). Kontaktowali się ze sobą zarówno drogą e-mailową, jak i osobiście, gdy oboje byli na tyle długo w Nowym Jorku, by spotkać się w studiu.