软工实践第五次作业-结对作业(2)

一、结对信息

• 结对成员
  031602209 陈志炜
  031602206 陈文垚
  
• 本次作业博客链接
  
• Github项目地址
  
• 作业代码的GitHub地址
• 具体分工
  陈志炜 爬取论文信息、完成编码要求2、3、4、6的代码编写、完成附加题
  陈文垚 完成编码要求5的代码编写、单元测试、性能分析

二、PSP表格

三、解题思路及设计说明

• 爬虫（自己完成）

  运行环境：Python 3.6.6
  使用的库：requests, lxml, bs4
  通过分析页面源码可以看出每篇论文的主页都是由

<dt class="ptitle"><br><a href="content_cvpr_2018/html/Das_Embodied_Question_Answering_CVPR_2018_paper.html">Embodied Question Answering</a></dt>

@href 属性 和 http://openaccess.thecvf.com/ 拼接而成的。
所以就先获取所有论文的主页，然后再依次爬取所有的论文的信息,利用 lxml, bs4, 正则 提取出
相应位置的信息。 一开始是做单进程的，完整爬一遍要9分钟多，就改了一个多进程的版本。
全部爬完之后再输出到文件。

def scrape(lock, data, url):
    try:
        text = get_page(url)

        pdf_links, abstracts, authors, titles, booktitles, months, years = data
        # print(text)
        html = etree.HTML(text)
        pdf_link = html.xpath(‘//a[contains(text(), "pdf")]/@href‘)[0]
        pdf_link = ‘http://openaccess.thecvf.com/‘ + pdf_link[6:]

        abstract = html.xpath(‘//div[@id="abstract"]/text()‘)[0]
        abstract = abstract[1:]

        soup = BeautifulSoup(text, ‘lxml‘)
        detail = soup.find(class_="bibref")

        regex = ‘(\w+) = {([\S\xa0 ]+)}‘
        results = re.findall(regex, detail.getText())
        author = results[0][1]
        title = results[1][1]
        booktitle = results[2][1]
        month = results[3][1]
        year = results[4][1]
        lock.acquire()

        pdf_links.append(pdf_link)
        abstracts.append(abstract)
        authors.append(author)
        titles.append(title)
        booktitles.append(booktitle)
        months.append(month)
        years.append(year)

        lock.release()
    except ConnectionError:
        print(‘Error Occured ‘, url)
    finally:
        print(‘URL ‘, url, ‘ Scraped‘)

• 代码组织与内部实现设计（类图）

  根据需求实现了单词/词组的词频统计、加入权重的词频统计、行数统计、单词/词组数统计、字符数
  统计、自定义输入输出文件等功能

• 说明算法的关键与关键实现部分流程图

  主要就是提取词组这部分, 要求有不能跨title和abstract，
  两个部分的统计方式是相同的，所以就先将title和abstract分别存进List，然后再相同方式处理。
  词组处理，就使用分隔符将title或者abstract进行分割，因为词组统计的时候要保留分割符，所以
  将所有的分隔符匹配出来备用，词组统计的时候需要分隔符的时候再连接上去。当词组数为m时，需要
  连续m个为单词才满足条件。
  

四、附加题设计与展示

五、关键代码解释

主要部分就是实现词组统计这一块

private HashMap<String, Integer> countContent(List<String> contents, int m) {
    HashMap<String, Integer> map = new HashMap<>();
    String splitRegex = "[\\s+\\p{Punct}]+";
    String splitStartRegex = "^[\\s+\\p{Punct}]+";
    String wordRegex = "^[a-zA-Z]{4,}.*";
    Pattern pattern = Pattern.compile(splitRegex);

    for (String content : contents) {
        String[] temp = content.split(splitRegex);

        List<String> splits = new ArrayList<>();
        Matcher matcher = pattern.matcher(content);
        while (matcher.find()) {
            splits.add(matcher.group());
        }

        boolean isSplitStart = content.matches(splitStartRegex);

        for (int i = 0; i < temp.length - m + 1; i++) {
            StringBuilder stringBuilder = new StringBuilder();

            if (temp[i].matches(wordRegex)) {
                stringBuilder.append(temp[i]);
            } else {
                continue;
            }
            boolean isContinue = true;
            for (int j = 1; j < m; j++) {
                if (!temp[i + j].matches(wordRegex)) {
                    isContinue = false;
                    break;
                } else {
                    if (isSplitStart) {
                        stringBuilder.append(splits.get(i + j));
                    } else {
                        stringBuilder.append(splits.get(i + j - 1));
                    }
                    stringBuilder.append(temp[i + j]);
                }
            }

            if (isContinue) {
                String words = stringBuilder.toString().toLowerCase();
                if (!map.containsKey(words)) {
                    map.put(words, 1);
                } else {
                    int num = map.get(words);
                    map.put(words, num + 1);
                }
            }

        }

    }
    return map;
}

一开始有想过通过写正则，直接匹配出符合条件的，emmmm....还是有点难处理。
所以先将句子通过分割符分割，分割出每个词。匹配出所有的分割符（词组统计时候，要求带分隔符连接起来）。
然后直接暴力求解...，判断出符合条件的词组。将结果存入map中，并记录出现的次数。

六、性能分析与改进

测试时使用爬取CVPR的979篇论文作为输入，命令行参数为-i test.txt -n 15 -m 3 -o output.txt，
使用权重统计词组词频，每三个单词为一个词组，输出词频前15的词组存放到output.txt
循环运行100次，性能分析结果如下

代码覆盖率如下

使用VisualVM进行性能分析发现，Main中统计输入文件词组词频的WordsCount.countContent和统
计输入文件单词总数的WordsCount.getWordsSum占用时间最多,占用了90%左右的时间

七、单元测试

在这列出三个单元测试并给出中文注释，所有的单元测试代码可以在github中的test项目中看到。

• 1.对CalMost的单元测试
  测试统计前十个单词及频数的函数和统计前n个单词及频数的函数

import org.junit.Test;

import java.util.HashMap;
import java.util.List;
import java.util.Map;

import static org.junit.Assert.*;

public class CalMostTest {
    String path = "input.txt";
    HandleContent handleContent = new HandleContent(path);
    // -m 词组单词数设为1
    // -w 权重设为0
    WordsCount wordsCount = new WordsCount(handleContent, 1, 0);
    HashMap<String, Integer> map = wordsCount.getMap();

    CalMost calMost = new CalMost();

    @Test
    //无 -n 参数输入时
    //单词数超过十个则输出前十个单词及词频
    //不足则输出所有单词及词频
    public void mostWords() {

        List<Map.Entry<String, Integer>> list = calMost.mostWords(map);
        list.forEach(System.out::println);
    }

    @Test
    //有 -n 参数输入时
    //单词数超过n个则输出前n个单词及词频
    //不足则输出所有单词及词频
    public void mostWords1() {

        List<Map.Entry<String, Integer>> list = calMost.mostWords(map,9);
        list.forEach(System.out::println);
    }
}

• 2.对WordsCount的单元测试
  测试获取单词数和单词、词频的函数

import org.junit.Test;

import java.util.HashMap;
import java.util.Map;

import static org.junit.Assert.*;

public class WordsCountTest {

    String path = "input.txt";
    HandleContent handleContent = new HandleContent(path);
    // -m 词组单词数设为1
    // -w 权重设为0
    WordsCount wordsCount = new WordsCount(handleContent, 1, 0);

    @Test
    //获取单词总数
    public void getSum() {
        System.out.println(wordsCount.getSum());
    }

    @Test
    //获取map内容，单词及其词频数
    public void getMap() {
        System.out.println(wordsCount.getMap().toString());
    }
}

• 3.对HandleContent的单元测试
  测试获取论文title、论文abstract和所有论文内容的函数

import org.junit.Test;

public class HandleContentTest {
    String path = "test.txt";
    //声明一个handleContent对输入内容进行分类
    //将所有的title和所有的abstract各自分到一起
    HandleContent handleContent = new HandleContent(path);

    @Test
    //输出应为所有的title内容
    public void getTitles() {

        System.out.println(handleContent.getTitles().toString());
    }

    @Test
    //输出应为所有的abstract内容
    public void getAbstracts() {

        System.out.println(handleContent.getAbstracts().toString());
    }

    @Test
    //输出应为title + abstract 内容
    public void getHandledContent() {

        System.out.println(handleContent.getHandledContent());
    }
}

八、GitHub代码签入记录

九、遇到的困难及解决方法

1. 对于题意的理解存在问题，题目要求标点符号也要算成分隔符，例如question（“orange就可以
   分割成question和orange两个单词。但是我们对连字符"-"产生了误解，认为像Super-Resolution
   这样的从语义上来看，只能算一个单词，所以产生了错误。经过和助教还有其他同学的沟通后，才明
   白了自己的错误。

2. 粗心导致的问题，在测试时发现统计单词数时经常会漏掉许多单词，我们一开始认为是正则出现了
   问题，但是实际上导致这个bug的是循环语句的错误，在循环体中本应该使用continue结束本次循环
   但是错误地使用了break结束了整个循环，所以导致结果的错误。

for (int j = 1; j < m; j++) {
    if (!temp[i + j].matches(wordRegex)) {
    isContinue = false;
        break;
    } else {
        if (isSplitStart) {
            stringBuilder.append(splits.get(i + j));
        } else {
            stringBuilder.append(splits.get(i + j - 1));
        }
        stringBuilder.append(temp[i + j]);
    }
}

1. 玄学bug, 出现了一次玄学bug，在测试时，读取文件中的序号后，正则匹配不出来，按行读取查
   看输出时没问题，单独测试正则也是没问题的，？？？，就完全找不到问题，删除了这个txt文件，重
   新建了一个txt文件，内容完全一样，再次测试就没问题了，？？？。

十、评价队友

志炜大佬精通Java、Python，项目经验丰富，号称数计最强的男人，本次的结对作业让我实实在在地体会到了这位巨佬的惊人实力。这次的结对作业对于他来说并没有什么难度，但是像我这种刚学Java的人就不一样了。但是每次在我遇到问题时，他都能够一眼看出我的问题出在哪里，告诉我遇到这种问题该如何解决并提出一些新的思路。而且志炜大佬总是会非常严格认真地纠正我的代码习惯(我之前对这个并不在意)。在他的帮助下，我对Java的学习和理解又得到了更进一步的加深。和志炜大佬一起合作完成本次作业，让我的Java学习之旅轻松又愉快。为了感谢志炜大佬一段时间的帮助，我决定送一套自己的亲笔签名照给他，希望他能够喜欢(必须喜欢)~~

十一、学习进度条

2018软工实践第五次作业-结对作业(2)

原文：https://www.cnblogs.com/yaozhengyi/p/9769349.html