一个既能随机应变，又老成稳重的人负责这个事情就行了。”炀帝说道：“此事责任重大，非卿莫属。”说完，当即拟了一道圣旨，让宣旨官宣读：“任命裴矩以原官职住扎在张掖等地，负责西域开市。安近怀远，一定要宣扬德化。授予裴矩临机应变的的权利，不能挑起事端。立功以后另行升赏。”
裴矩刚刚谢恩领旨，班中又闪出一人，此人长得方面长髯，高颧大耳，威风凛凛，相貌堂堂，跪在地上奏道：“西域开市，有三大害处。裴矩乃是一介书生，不了解情况，反而说有五大好处，妄言误国，请圣上处分他。”炀帝一看，乃是兵部尚书段文振。就问道：“西域开市有哪三大害处？裴矩如何误国？”段文振奏道：“西域开市，各外国的东西不过是珠玉犀象，冷了不能当衣穿，饿了不能当饭吃，却以中国的绫绵帛和他交易，这是拿有用之物换无用之物，这是其一；张掖乃是边防重地，开市就会引狼入室，外国狼子野心，居心叵测，如果发生什么变故，为祸不小，这是贪图小利而招来大祸，这是其二。既然开市通好，那么我们是主人外国是客人，来往必须迎送，住处必须供给。外国人就会络绎不绝，来到我国，各地的老百姓就会疲于奔命，忙于应付，不得安生。这是慕虚名而受实祸，这是其三。西域开市有这三大害处，而裴矩却贪图富贵，妄言惑主，难道不是误国吗？”裴矩说道：“段文振该杀！以钱币棉帛换无价之宝，利润可达百倍，他却认为没有用，如果说珠玉没有用，那么金钱也不可以穿，也不可以吃，也是没有用的东西吗？我们有强大的武力做后盾，外国虽然居心叵测，还能翻天不成？况且古代的帝王，都以诚心待人，胡越一家，从来没听说过因为担心而拒绝他们的。况且远方的客人到来，供给的费用有限，谈不上让老百姓疲于奔命。相反，如果因为这事激起兵变，必然要派大军出征，每天都要消耗大量的物资，那才是让老百姓疲于奔命。依段文振所言，是不想让朝廷得利，是想让陛下做柔懦之主，不愿意让陛下做仁圣英略的帝王。”炀帝听了裴矩的话，说道：