天下苦难之所在
虽然如前一小节所述，迁都平安京一事发生在延历十三年（794年）十月。不过，当时平安新都的建造尚未全部完成。《日本纪略》延历十四年（795年）正月条记载：“废朝，以太极殿未成也。”延历十五年（796年）正月条记载：“御大极殿受朝贺。”延历十五年（796年）三月条记载：“巡览朝堂及诸院。”由此可知，迁都第三年，朝堂等宫殿才终于建造完成。
不过，《日本后纪》延历十八年（799年）正月条记载：“丰乐院未成功，大极殿前龙尾道上，构作借殿，葺以彩帛，（桓武）天皇临御，蕃客仰望，以为壮丽。”当时，桓武天皇赐宴渤海国使，由于丰乐院尚未建成，所以在临时搭建的宫殿设宴。
《日本后纪》延历十六年（797年）三月条中，也有“令远江、骏河、信浓、出云等国，进雇夫二万四十人，以供造宫之役”的记载，从中可以知晓：当时宫殿仍在建造之中，甚至需要远方进献劳工。这主要是因为宫殿建造期间，不时遭受天灾，不得不多次重建。其大致情况，《日本纪略》中有记载：
延历十四年（795年）闰七月乙巳（十一日），大风，官舍京中屋破损；延历十七年（798年）八月丙戌（九日），大风，坏京中百姓庐舍；延历十八年（799年）九月戊申（七日），暴风，京中屋舍倒坏；延历二十三年（804年）八月壬子（十日），暴雨大风，中院西楼倒，打死牛，又堕坏神苑左右阁，京中诸国多蒙其害；（桓武）天皇生年在丑，叹曰：“朕不利欤”未几不豫，云云。
从文中桓武天皇“朕不利欤”的叹息可以推断，当时灾情应该十分严重。
此外，延历十六年（797年）九月，桓武天皇下诏：“非常之备不可暂缺，宜山城、河内两国，便处置烽燧。”延历十九年（800年）十月，山城、大和、河内、摄津、近江、丹波等国派出百姓一万人，修建葛野川堤坝。由此可见当时劳役之繁重。
延历二十四年（805年），桓武天皇身体抱恙期间，仍挂念新京营建耗费民力。《日本后纪》记载：
延历二十四年（805年）十二月壬寅（七日），公卿奏曰：伏奉纶旨，营造未已，黎民或弊，念彼勤劳，事须矜恤，加以时遭灾疫，破损农桑，今虽有年，未闻复业，宜量事优矜，令得存济者。臣等商量，伏望所点加仕丁，一千二百八十一人，依数停却；又卫门府衙士四百人，减七十人；左右卫士各六百人，每减一百人；隼人男女各四十人，每减二十人；雅乐寮歌女五十人，减三十人；仕女一百十人，减二十八人；停卜部之委男女廝丁等粮，又诸家厨租，暂停舂米，交易轻货；又诸国贡调脚夫，或国役五日，或国役三日，役限不均，劳逸各殊，须共役二日，以同苦乐。中纳言近卫大将[41]从三位藤原朝臣内麻吕（即藤原内麻吕）侍殿上，有敕，令参议右卫士督从四位下藤原朝臣绪嗣（即藤原绪嗣），与参议左大辨正四位下菅野朝臣真道（即菅野真道），相论天下德政。于时（藤原）绪嗣议云：方今天下所苦，军事（当时有征讨虾夷的战事）与造作也，停此两事，百姓安之。（菅原）真道确执异议，不肯听焉。帝善（藤原）绪嗣议，即从停废。乙巳（十日）废造宫职。延历二十五年（806年）二月乙未朔丁酉（三日），停造宫职，并木工寮。
虽然此时宫殿营造尚未完全竣工，但已完成过半，所以停了造宫职，将其事务交由木工寮处理，宫殿修建一事算是告一段落了。
当时花费的民力数据，各书均无记载，三善清行的《意见封事》中写道：
桓武天皇迁都长冈，（中略）更营上都，再造大极殿，新构丰乐院，又其宫殿楼阁，百官曹厅，亲王公主之第宅，后妃嫔御之宫馆，皆究土木之巧，尽赋调庸之用，于是，天下之费，五分而三。
建造宫殿工程巨大，长达数年。桓武天皇也曾多次下诏，体恤民力。由此可见，三善清行的言论并非毫无根据。