爬虫
关于html：
- 定义：超文本标记语言（HyperText Markup Language，简称：HTML）是一种用于创建网页的标记语言。
- 格式：一个html文档一般由head标签和body标签组成，head主要包含标题、脚本、样式等信息，body主要包含显示在网页上的信息。
关于java方法：
- 方法的命名：第一个单词应以小写字母作为开头，后面的单词则用大写字 母开头写，不使用连接符。例如：addTwoNumbers()
-
方法的写法：
修饰符 返回值类型 方法名(参数类型 参数名){ ... 方法体 ... return 返回值; }其中，方法的参数可以为空；若不需要输出则为void返回值类型，不需要写return语句。
关于正则表达式：
定义：正则表达式通俗来说是用于搜索的一种东西，严格来说它是用于匹配的一种东西。
语法：
-
\ 将下一字符标记为特殊字符、文本、反向引用或八进制转义符。例如， n匹配字符 n。\n 匹配换行符。序列 \\ 匹配 \ ，\( 匹配 (。
-
^ 匹配输入字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性，^ 还会与"\n"或"\r"之后的位置匹配。
-
$ 匹配输入字符串结尾的位置。如果设置了 RegExp 对象的 Multiline 属性，$ 还会与"\n"或"\r"之前的位置匹配。
-
+一次或多次匹配前面的字符或子表达式。例如，"zo+"与"zo"和"zoo"匹配，但与"z"不匹配。+ 等效于 {1,}。
-
? 零次或一次匹配前面的字符或子表达式。例如，"do(es)?"匹配"do"或"does"中的"do"。? 等效于 {0,1}。
-
{n} n 是非负整数。正好匹配 n 次。例如，"o{2}"与"Bob"中的"o"不匹配，但与"food"中的两个"o"匹配。
-
{n,} n 是非负整数。至少匹配 n 次。例如，"o{2,}"不匹配"Bob"中的"o"，而匹配"foooood"中的所有 o。"o{1,}"等效于"o+"。"o{0,}"等效于"o*"。
-
{n,m} m 和 n 是非负整数，其中 n <= m。匹配至少 n 次，至多 m 次。例如，"o{1,3}"匹配"fooooood"中的头三个 o。'o{0,1}' 等效于 'o?'。注意：您不能将空格插入逗号和数字之间。
-
. 匹配除"\r\n"之外的任何单个字符。若要匹配包括"\r\n"在内的任意字符，请使用诸如"[\s\S]"之类的模式。
-
x|y 匹配 x 或 y。例如，'z|food' 匹配"z"或"food"。'(z|f)ood' 匹配"zood"或"food"。
-
[xyz] 字符集。匹配包含的任一字符。例如，"[abc]"匹配"plain"中的"a"。
-
[^xyz] 反向字符集。匹配未包含的任何字符。例如，"[^abc]"匹配"plain"中"p"，"l"，"i"，"n"。
-
[a-z] 字符范围。匹配指定范围内的任何字符。例如，"[a-z]"匹配"a"到"z"范围内的任何小写字母。
-
[^a-z] 反向范围字符。匹配不在指定的范围内的任何字符。例如，"[^a-z]"匹配任何不在"a"到"z"范围内的任何字符。
-
\b 匹配一个字边界，即字与空格间的位置。例如，"er\b"匹配"never"中的"er"，但不匹配"verb"中的"er"。
-
\B 非字边界匹配。"er\B"匹配"verb"中的"er"，但不匹配"never"中的"er"。
-
\cx 匹配 x 指示的控制字符。例如，\cM 匹配 Control-M 或回车符。x 的值必须在 A-Z 或 a-z 之间。如果不是这样，则假定 c 就是"c"字符本身。
-
\d 数字字符匹配。等效于 [0-9]。
-
\D 非数字字符匹配。等效于 [^0-9]。
-
\f 换页符匹配。等效于 \x0c 和 \cL。
-
\n 换行符匹配。等效于 \x0a 和 \cJ。
-
\r 匹配一个回车符。等效于 \x0d 和 \cM。
-
\s 匹配任何空白字符，包括空格、制表符、换页符等。与 [ \f\n\r\t\v] 等效。
-
\S 匹配任何非空白字符。与 [^ \f\n\r\t\v] 等效。
-
\t 制表符匹配。与 \x09 和 \cI 等效。
-
\v 垂直制表符匹配。与 \x0b 和 \cK 等效。
-
\w 匹配任何字类字符，包括下划线。与"[A-Za-z0-9_]"等效。
-
\W 与任何非单词字符匹配。与"[^A-Za-z0-9_]"等效。
关于Jsoup与爬虫：
代码：
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.*;
import java.sql.SQLOutput;
import java.util.Scanner;
/**
* 使用 Jsoup内置方法 解析小说
*/
public class Spider {
public static void main(String[] args) throws IOException {
/**
* 声明一些常量、变量
*/
String menuUrl = "";//默认目录页
final String fileAddr = "./";
Scanner scanner = new Scanner(System.in);
System.out.println("根据下面输入的目录爬取，(请按照http://www.aixiaxsw.com/xx/xxxxx/形式进行输入。):\n");
menuUrl = scanner.next();
/**
* 访问目录页，获取小说名、作者名、章节名、章节链接
*/
Document document = null;//新建一个文档
try {
document = Jsoup.connect(menuUrl).get();
}catch (IOException ewww){
ewww.printStackTrace();
}
String title = document.body().selectFirst("h1").text();
String writter = document.body().selectFirst("p").text();//输出作者
System.out.println("开始爬取："+title);
Elements menu = document.body().select("dl dd");//选择父元素为dl的所有dd标签
Elements as = menu.select("a[href]");
/**
* 新建文件、文件流
*/
System.out.println("小说将保存在："+fileAddr + title+".md 中");
File file = new File(fileAddr + title+".md");
OutputStream fileOut = null;
try {
fileOut = new FileOutputStream(file);
} catch (FileNotFoundException e) {
e.printStackTrace();
}
// 在向文件中输出每一章节前，先输出小说名
fileOut.write(("# " + title+"\n\n").getBytes());
fileOut.write(("# "+ writter+"\n\n").getBytes());
/**
* 保存每个章节的正文到文件中
*/
int count = 1;
//循环操作每个章节
for (Element a : as){
if(count<=9){}
String url="https://www.aixiaxsw.com/";
String subLink = a.attr("href");
String chapterName = a.text();
System.out.println("当前爬取章节："+chapterName);
Document chapter = null;
try {
chapter = Jsoup.connect(url+subLink).get();
} catch (IOException ewww) {
ewww.printStackTrace();
}
Element chapterContent = chapter.selectFirst("#content");
// System.out.println(chapterContent.text().substring(28));
fileOut.write((" \n\n## " + "[" +chapterName+"]" +"("+url + subLink+")" + "\n\n " + chapterContent.text()).getBytes());
}
System.out.println("小说爬取完成");
fileOut.close();
}
}
