软工实践结对第二次作业

作业链接

• 作业博客链接 https://edu.cnblogs.com/campus/fzu/FZUSoftwareEngineering1816W/homework/2160

• Github链接 https://github.com/zhoujingping/PairProject-C

• 031602323 廖钰萍
  

• 031602330 苏芳锃

分工

• 廖钰萍：编写爬虫代码，更新WordCount代码
• 苏芳锃：编写博客

PSP表格

解题思路与实现

• 爬虫：利用Python和scrapy框架编写爬虫代码

• 代码组织与内部实现
  

• 关键部分

int Paper::cmp(Word W1,Word W2)
{
    return W1.count > W2.count;
}

void Paper::Vsort()
{
    sort(Title.begin(), Title.end(), cmp);
    sort(Abstract.begin(), Abstract.end(), cmp);
}

int Paper::getgeneral_wordCount(int weight)
{
    for (vector<Word>::iterator it = Title.begin();it != Title.end();it++)
    {
        general_wordCount = general_wordCount + it->count * weight;
    }

    for (vector<Word>::iterator it = Abstract.begin();it != Abstract.end();it++)
    {
        general_wordCount = general_wordCount + it->count;
    }
}

附加题设计与展示

• 从网站爬取论文标题，发表日期和论文pdf链接，对论文按日期进行分类，生成表格，可通过链接转到pdf页面
• 通过爬取的日期计算每个月份出现的频度，得到论文发表时间的分布图

关键代码解释

def parse_detail (response):
    item = CvprItem()
    item[‘Title‘] = response.xpath(‘//div[@id="content"]//dd/div[@id="papertitle"]/text()‘).extract()
    item[‘Abstract‘] = response.xpath(‘//div[@id="content"]//dd/div[@id="abstract"]/text()‘).extract()

    yield item

   def start_requests(self):
        url=‘http://openaccess.thecvf.com/CVPR2018.py‘
        yield Request(url,headers=self.headers)

    def parse(self,response):
        links= response.xpath(‘//div[@id="content"]//dt//a/@href‘).extract()
        for link in links:
            link = ‘http://openaccess.thecvf.com/‘+link
            yield Request(link,headers=self.headers,callback=parse_detail)

遇到的问题

• 最初的wordCount程序数据结构设计不合理，导致后来修改花了许多时间

软工实践结对第二次作业

原文：https://www.cnblogs.com/liao-yp/p/9781177.html