1979年3月、4代目にモデルチェンジ。主力の1400ccT-U型に代わって新開発の1500cc、3A-U型[18]が搭載される。発売当初のキャッチコピーは「いい友、誕生」。
ボディバリエーションはデビュー当初E50系と同じ2ドアセダン[19]、4ドアセダン、2ドアハードトップ、レビンを含む3ドアクーペ、3ドアリフトバック、2ドアバン[20]、4ドアバンの構成で[21]
ステアリングギアボックスの形式は、デビュー当初は1300cc車のみP60系スターレットと共通のラック＆ピニオンで、他はリサーキュレーテッドボールであったが、1981年のマイナーチェンジ後には1500cc車にもラック＆ピニオンが採用される。また、この代から全車にフロントディスクブレーキを採用する。
サスペンションは、前輪は従来からマクファーソンストラット + コイルスプリングだが、後輪は縦置き半楕円リーフスプリングから、固定車軸ながら、4リンク + コイルスプリングに改良された。
また、日本国内向けにE70系4ドアバンをベースにミドルルーフとしたワゴンが1982年5月に追加されている。これは日本向けとしては初のカローラワゴンとなる。エンジンは当初、1300ccの4K-U型のみの展開で、グレードは1300DXと1300GLの2種、トランスミッションは4速MTのみ。のちに1800ccディーゼルの1C型（SOHC、65馬力【グロス値】、トランスミッションは5速MTのみ）も搭載される。ただしリアサスペンションはE70系バンと共通で、リーフリジッドを採用する。国内向けE70系ワゴンは1983年5月に大規模なフェイスリフトを実施し、1987年8月頃まで生産された。
1979年8月には、1600シリーズの代替としてカリーナやセリカなどの上級小型車に搭載されている1800cc、13T-U型ガソリンエンジン（OHV、95馬力【グロス値】）搭載の1800シリーズが登場するが、車重増加（特にフロントまわりの重量増加）によるドライバビリティやハンドリングの低下[22]と、税制上の問題から販売不振となり、1981年にカタログ落ち（廃止）となる。その後、カローラシリーズの1800ccのガソリンエンジンモデルは、E110系の初代カローラスパシオの4WDモデルの登場まで不在となる。
1981年5月にはワールドベストセラーカーを記念して4ドアセダンに特別仕様車「ビクトリーシリーズ」を発売。
1981年8月に大規模なマイナーチェンジが行われた。1300/1500が従来エンジンを改良したレーザーエンジンに換装された。バンを除く全車に異形角型2灯式ヘッドライトおよび全車に13インチスチールラジアルタイヤが採用される[23]。さらにセダン系は、リアコンビネーションランプも大型化される。また1500SEには、パワーステアリングを標準装備/1500と1600にはオートエアコンもオプション化/1300は3速AT化/女性ドライバーの増加に応えて、ハードトップに女性仕様「ライム」を追加。
1982年2月には、カローラとしては初[24]のディーゼルエンジンが搭載された（SOHC、1800cc、1C型、65馬力【グロス値】）。モデル後期にはCMに伊武雅刀を起用。ディーゼルエンジン搭載車にはカローラ初4速ATも採用。
1982年5月には、ハードトップに次いでセダンにも「ライム」を追加。
モデル末期には特別仕様車として、カローラ初のツートンボディカラーを採用したセダン1500SEサルーンとお買い得仕様のセダンGLエクストラ、更にセダン1300STDをベースに若干装備を充実させ車両価格79.9万円を実現した1300エクストラ、生産累計1000万台達成記念車が次々と発売された。
4ドアセダン・3ドアリフトバック・2ドアハードトップモデルに2T-GEU搭載のGTが追加[25]。特にセダン1600GTはラリーフィールドで活躍した。ちなみにFR時代のカローラセダンとしては最初にして最後の2T-Gエンジン搭載車だった。
バン/ワゴンは、セダンが前輪駆動化された後もルーフをセミハイルーフ化およびマイナーチェンジを8月に実施し、1987年まで継続生産された。