題主搜一搜headlessbrowser，前端測試框架什么的。
其實有很多方案，selenium，phantomjs，casperjs，qtwebkit等等等等
我們采用的是casperjs。把每個ajax請求完成后保存網頁，放入隊列，這樣的話后面的分析程序就只要分析html就好了。
casperjs這貨和nodejs一起使用的時候時不時會有點小問題（我遇到的問題都不大，很好解決），如果不想麻煩，npm安裝spookyjs，據說就可以把casperjs作為node的模塊來使用了。
當然，請求不復雜，無需驗證的話，直接觀察請求就可以了。