今日头条新闻的较具时效性,且显示的内容多为关注度较高的讯息,采集今日头条可用于填充资讯站点。
1、目标网站:今日头条,网址http://www.toutiao.com
①选择今日头条中的对应栏目;
②采集各个栏目的新闻或者图集(不可下载视频)。
3、技术难点:今日头条新的内容的加载方式为下拉,可以使用火车浏览器的滚动下拉步骤,模拟此效果,采集首页未加载出来的内容。
三、应用成果
可采集新闻的标题、内容、图片,发布时间等信息。