소설가 무코(무카이 오사무)와 그의 아내 츠마(미야자키 아오이)는 귀농한 젊은 부부다. 도쿄 출신인 부부는 무코의 고향인 작은 시골마을에 정착해 평화롭고 소박하게 살고 있다. 무코는 낮에는 농사일을 하고 밤에는 소설을 쓴다. 식물이나 동물과 대화할 수 있는 특별한 능력을 지닌 츠마는 자연과 소통하며 행복한 생활을 한다. 그녀는 목마르다는 식물의 목소리나 고기를 달라는 떠돌이 개의 주문을 다 알아듣는다. 부부는 이웃과 음식을 나눠먹고 가끔 보드게임도 한다. 무코는 시골에 오자 소설이 솔직하게 술술 풀려서 좋다고 말한다. 그런데 어느 날부터 다정한 부부 사이에 낯선 기류가 흐르기 시작한다. 그 진원지는 무코가 밤마다 쓰는 일기다. 문제는 그 일기장을 낮에 츠마가 읽는 것이다. 츠마는 무코가 밤마다 쓰는 것이 소설이 아니라 일기고, 그 일기가 자신이 모르는 어떤 여자를 위한 것임을 알게 된다. 츠마는 일기 때문에 불안을 느끼지만 무코에게 내색하지 않는다.

노란 코끼리는 어린 시절 츠마가 환영 혹은 꿈에서 본 코끼리다. 심장병을 앓던 츠마는 보름달을 보며 병을 낫게 해달라고 소원을 빌었다. 그러자 노란 코끼리가 찾아왔고 그 등에 올라 아프리카까지 갔다고 그녀는 말한다. 노란 코끼리와 츠마는 같은 처지다. 신비한 능력이 있지만 평범한 삶을 동경하고 있어서 그렇다. 부부 사이에 대화가 거의 끊어질 즈음 발신인 없는 편지를 받은 무코가 일기장을 들고 도쿄로 떠나고, 츠마는 그가 돌아오지 않을까봐 잠을 이루지 못한다. 무코의 짧은 가출은 스무살 무렵 그가 겪은 사랑의 열병을 마무리하기 위한 여정이다. 비록 이 일로 부부 사이에 균열이 생겼지만 피할 수 없는 과정이다. <노란 코끼리>는 상처와 치유에 관한 영화다. 그리고 부부가 성숙해가는 과정을 보여주는 영화이기도 하다. 노란 코끼리는 회색 코끼리가 되어야만 무리에 섞일 수 있다. 무코와 츠마도 자신만의 특별한 색을 지우고 서로의 빛깔에 맞춰가며 진정한 부부가 되어간다.