Rubin rozpoczął karierę w Google w 2005 roku, gdy internetowy gigant kupił założoną przez niego niewielką firmę Android zajmującą się tworzeniem nowego systemu operacyjnego. Przez kolejnych osiem lat Rubin kierował zespołem rozwijającym Androida, który dzisiaj jest najpowszechniej używanym na świecie systemem mobilnym.
W 2013 roku Rubin opuścił zespół Androida i przeszedł do działu opracowującego konstrukcje robotów. Dla Google robotyka to obecnie jeden z najważniejszych i perspektywicznych segmentów, w który coraz więcej inwestuje. W grudniu 2013 r. koncern kupił między innymi firmę Boston Dynamics zajmującą się budowaniem robotów militarnych. To już dziewiąta spółka związana z robotyką przejęta przez Google.
Pracując na nowym stanowisku Rubin wielokrotnie nie zgadzał się z Larrym Page’em, jednym z założycieli Google, dla którego robotyka jest ostatnio oczkiem w głowie. Twórca Androida domagał się od Page’a większej swobody w podejmowaniu decyzji związanych z rozwojem kierowanego przez siebie działu. Konflikt zaostrzył się do tego stopnia, że Rubin postanowił opuścić Google. Mimo to w oświadczeniu wydanym przez koncern w związku z rezygnacją Rubina, Page stwierdził: „Życzę Andy’emu wszystkiego najlepszego w realizacji przyszłych wyzwań zawodowych. Budując Androida Andy stworzył znakomity produkt, z którego korzysta dzisiaj ponad miliard ludzi na świecie. Dziękuję”.
Rubin powiedział dziennikowi „The Wall Street Journal”, że zamierza stworzyć inkubator startupów technologicznych zajmujących się projektowaniem sprzętu elektronicznego.
Google ogłosił jednocześnie, że następcą Rubina zostanie James Kuffner, profesor Carnegie Mellon i ekspert w dziedzinie humanoidalnych robotów. Kuffner jest autorem projektu opracowywanego przez Google samochodu poruszającego się samodzielnie bez kontroli kierowcy.
