24 Января 1904 года Япония разорвала дипломатические отношения с Россией, а 26 января начала военные действия против нее. Официально Токио объявило войну России 28 января.

В ночь на 27 января японский флот внезапно атаковал русскую эскадру вице-адмирала Старка, стоявшую на внешнем рейде Порт-Артура. Днем 27 января японская эскадра у корейского порта Чемульпо атаковала крейсер «Варяг» и канонерку «Кореец».

Японцам удалось блокировать в Порт-Артуре русскую эскадру, которая понесла немалые потери во время ночного нападения, однако она сохранила боеспособность. Вооруженные силы Японии (1-я армия генерала Т. Куроки) в короткое время оккупировали Корею и вышли на ее границу с Маньчжурией. Их боевыми действиями руководил начальник Генерального штаба маршал Ояма, который в июне 1904 года стал главнокомандующим японскими сухопутными силами в Маньчжурии.

После того как 45-тысячная 1-я армия генерала Куроки в бою на пограничной реке Ялу (Ялуцзян) разбила русский Восточный отряд (численностью в 19 тысяч человек), стратегическая инициатива в войне перешла к маршалу Ояма. 22 апреля у Бицзыво на Ляодунском полуострове высадилась с кораблей 2-я японская армия генерала Я. Оку. В середине мая она захватила Цзиньчжоу и прервала связь Порт-Артура с Маньчжурской армией генерала А.Н. Куропаткина (главнокомандующим вооруженными силами России на Дальнем Востоке был адмирал Е.И. Алексеев).

Русское командование направило на помощь осажденной Порт-Артурской крепости 1-й Сибирский корпус, которому пришлось после упорного боя под Вафангоу со 2-й японской армией отойти на север. Затем маршал Ояма приказал своим войскам начать наступление вдоль железной дороги на Ляоян и стал готовиться к осаде Порт-Артура. Из вновь прибывших на материк войск была сформирована 3-я армия под командованием генерала М. Ноги. Ее первоначальная численность составляла около 60 тысяч человек при 400 орудиях. На подступах к Порт-Артуру начались тяжелые бои; крепостной гарнизон по силам во много раз уступал действовавшей против него неприятельской армии.

Для лучшего управления сухопутными войсками, численность которых все увеличивалась по мере прибытия морем резервов, маршал Ояма сформировал еще одну армию — 4-ю под командованием генерала М. Нодзу. Она вместе с 1-й и 2-й с боями начала продвигаться в северном направлении к Ляояну.

11–24 августа 1904 года состоялось Ляоянское сражение, в котором участвовали главные силы противников. Русская Маньчжурская армия генерала Куропаткина насчитывала 152 тысячи человек при 606 орудиях. Три японские армии под общим командованием маршала Ивао Оямы насчитывали всего 130 тысяч человек при 508 орудиях. Несмотря на это, главнокомандующий сухопутными силами Японии в Маньчжурии планировал овладеть оборонительными рубежами противника, а затем окружить и уничтожить русскую армию. К тому времени Ояма уже убедился, что генерал Куропаткин слабый противник.

Две группы войск русской Маньчжурской армии — Южная и Восточная — занимали оборонительные рубежи на дальних подступах к Ляояну. Маршал Ояма отправил в обход левого фланга Восточной группы 1-ю армию генерала Куроки, двум другим приказал начать наступление против Южной группы. Однако атаки японских войск на всех направлениях были успешно отбиты. Но уже в самом начале Ляоянского сражения случилось непредвиденное. Генерал Куропаткин, основываясь на явно преувеличенных данных о силах противника, отдал приказ своим войскам оставить первую линию обороны и отойти на вторую.

17 августа маршал Ояма приказал всем трем своим армиям атаковать эту позицию. На своем правом фланге и в центре русские отразили атаки японцев сильными контратаками, нанеся им большие потери. Но на левом фланге японцы сумели захватить населенный пункт Сыкваньтунь и несколько господствующих высот восточнее Ляояна. Тогда Куропаткин отдал приказ отойти уже на главный оборонительный рубеж. Командующий русской Маньчжурской армией явно терял контроль над ситуацией. На главном оборонительном рубеже картина повторилась. Четыре Сибирских стрелковых корпуса контратаками успешно отбили все атаки трех японских армий. Казалось, что ни одной из сторон успеха не добиться. Тем не менее 21 августа генерал Куропаткин отдал приказ об отступлении к Мукдену, все дальше от осажденного Порт-Артура. Русская Маньчжурская армия отошла на север, не потерпев в Ляоянском сражении поражения.

22 августа японские войска заняли оставленный русскими город Ляоян. Преследовать их маршал Ояма не решился, опасаясь перехода Маньчжурской армии в наступление и из-за больших потерь, понесенных в Ляоянском сражении. За 11 дней боев японцы потеряли 24 тысячи человек, русские — 16 тысяч. Все же для главнокомандующего сухопутными силами Японии в Маньчжурии овладение городом Ляояном стало большой победой.

К осени 1904 года противоборствующие стороны значительно пополнили свои силы. Более того, русская Маньчжурская армия получила заметное численное превосходство — 214 тысячам русских солдат противостояли 170 тысяч японцев. На реке Шахэ произошло встречное сражение, которое закончилось безрезультатно, но с большими потерями для обеих сторон. Здесь впервые образовался сплошной фронт протяженностью более 60 километров, и борьба приняла позиционный характер.

После перехода японской армии к обороне маршал Ояма принял решение в кратчайшие сроки овладеть осажденным Порт-Артуром, гарнизон которого оставался в тылу его главных сил. 100-тысячная осадная армия требовалась для действий в Маньчжурии. Несколько яростных и кровопролитных штурмов русской крепости, подвергшейся сильным бомбардировкам с моря и с суши, были отбиты. Тем не менее, царские генералы Стессель и Фок, вопреки мнению военного совета, сдали крепость Порт-Артур (который мог сражаться еще многие месяцы) японцам.

Осаждавшая Порт-Артур 3-я японская армия присоединилась к главным силам. В Мукденском сражении 1905 года русская армия потерпела большое поражение и отступила на заранее подготовленные в 175 километрах от города Мукдена Сыпингайские позиции. С середины марта 1905 года боевые действия на сухопутном фронте практически прекратились. Обе стороны были истощены. К тому времени русские войска в Маньчжурии насчитывали 788 тысяч человек. Маршал Ояма имел под своим командованием 750 тысяч человек.

Однако вскоре произошло Цусимское морское сражение. После полного разгрома в нем русских 2-й Тихоокеанской эскадры и 1-го отряда 3-й Тихоокеанской эскадры Русско-японская война закончилась победой Японии. До самого конца войны главнокомандующим ее сухопутными армиями в Маньчжурии оставался маршал Ивао Ояма.

23 августа 1905 года в Портсмуте (США) был подписан мирный договор. По нему Россия признавала Корею сферой японского влияния, уступала Японии южную часть острова Сахалин, арендные права на Порт-Артур и город Дальний на Ляодунском полуострове с прилегающими территориями и южную ветку КВЖД.

Маршалу Ояме по возвращении в Токио были оказаны большие государственные почести. Больше воевать ему не пришлось, да и к тому же при императорском дворе он занимал высокую должность: с 1912 года — являлся хранителем печати императора Японии.