Первым владельцем острова стал дипломат Пётр Шафиров, получив его в подарок от Петра I. Тогда остров назывался Мишин или Михайлин.
По легенде, военный дозор встретил там медведя, так и появилось это название, которое сохранялось до конца 18 века.
Современное название остров получил по имени своего пятого владельца – обер-гофмейстера Ивана Елагина. Именно при нём был построен каменный дворец и обустроен живописный парк. А среди знатных горожан появилась традиция приезжать в парк на прогулки.
