对于役夫的事情，杨广总算让了一些步，黄明远也不敢逼迫太甚。至于延期之事，更不要提了。
因此为了防止下面的官吏阳奉阴违，黄明远乃常于各处工地巡视，总算震慑住不少的官吏，勉强使得役夫的生存、生活条件得到了改善。
六月初，岭南传来消息，攻打林邑的驩州道（又称日南郡，即今越南北部）行军总管河阴县公刘方卒于军中，原本刚被杨广下令在林邑故地设置的荡州、农州、冲州三州十二县再次全部沦陷。
而此时朝廷对于三州的官员还没有完成任命呢。
林邑，即今越南中部。延袤数千里，有城郭、宫室，隋时已有文字，信佛教，人民主要从事农业生产。林邑之地乃是西汉设立的日南郡象林县，东汉末年，本地有名为区连者，杀害县令，自称林邑国王，从此象林县从汉朝的统治下独立出来。
林邑虽然去中原万里，但实际上与中国联系密切。东晋几次进攻林邑，都没有成功。而南宋后来攻灭林邑，但因为南北朝混乱，还是让林邑复国。
到了文帝末年，群臣有人言林邑多奇宝，文帝图掠珍宝，乃授刘方为驩州道行军总管，筹划处理林邑方向的事务，以尚书右丞李纲为司马，带兵进攻林邑。
此时刘方正担任为交州道行军总管，刚刚平定了交趾（治宋平，今越南河内）李佛子叛乱，俘获俚人（古族名，主要分布在广东西南沿海及广西东南等地）首领李佛子。
也不知道杨坚是怎么对林邑动了心思，不过正巧大隋刚北伐成功，天下无事，而刘方所部的南征主力正好位于交州还未返回，所以杨坚要趁机搂草打兔子，平了林邑这个隐患。
但实际上林邑国虽然狭小，但国人人性凶悍，果于战斗，便山习水，不闲平地，至于居止，或东西无定。相对中原来说，多为野人，并不是那么容易平定的。
而且岭南之地气候潮湿闷热，多瘴气，环境恶劣，北方士兵不耐当地气候。
东晋时期，几次兵败便是明证。
杨坚如此一拍脑袋，既没有长久的规划，也没有攻占林邑之后长久的布置，完全如土匪劫掠一样脑袋发热决定，真是让人咋舌。
不过刘方果是一员名将，隋军战力也远超还是野人的林邑。
刘方得令之后，既无可靠的补给，又无后援，乃派钦州刺史宁长真、驩州刺史李晕、上开府秦雄等人率领步骑兵一万余人出越裳（大体位于今日越南广平省、广治省一带），收复了一直被林邑侵占的汉日南郡（即驩州）的南部，稳定了形势。
刘方又在驩州打造战船，准备水路并进。
可是刘方这边准备好了，却没想到天子杨坚忽然去世，国家大丧，接着便是汉王叛乱，整个朝廷混乱不堪，等到形势安定，时间已经过去数月。
新继位的杨广跟其父也差不多，是个喜欢开疆拓土的人，因此命刘方继续攻打林邑。