目录

这张图为我给自己研究所人讲网络爬虫的一个流程，本人也将按照这个流程来讲网络爬虫，如果你的基础较好，可以直接跳过相关流程。

1、Java中maven的使用

使用maven能很轻松的从网络中下载所需的插件 及依赖（下载程序所依赖的JAR包），存储在某一位置中,在程序编译时自动去寻找jar包。初次使用maven时，可能会很慢，会遇到很多问题（国外的源，下载jar包很慢）可以配置一些国内的源，如csdn的。 maven的jar包搜索地址地址：

#　 #2、log4j ##log4j的介绍 log4j是Apache下的一个开源项目，用来控制日志信息，方便的日志记录。之所以要记录日志，可以详细的记录程序发生了什么，在哪里发生的，有没有错误等。在使用log4j之前需要使用maven引入log4j的jar包。 其中，日志的输出级别（%p ）：DEBUG，INFO，WARN，ERROR，FATAL(每个严重的错误事件将会导致应用程序的退出) ##log4j提供的几种方法 (1)Appender方法：日志输出目的地 org.apache.log4j.ConsoleAppender（控制台），org.apache.log4j.FileAppender（文件），org.apache.log4j.DailyRollingFileAppender（每天产生一个日志文件），org.apache.log4j.RollingFileAppender（文件大小到达指定尺寸的时候产生一个新的文件），org.apache.log4j.WriterAppender（将日志信息以流格式发送到任意指定的地方）。 (2)Layout方法：日志输出格式 org.apache.log4j.HTMLLayout（以HTML表格形式布局），org.apache.log4j.PatternLayout（可以灵活地指定布局模式），org.apache.log4j.SimpleLayout（包含日志信息的级别和信息字符串），org.apache.log4j.TTCCLayout（包含日志产生的时间、线程、类别等等信息）。 ##使用步骤 (1)导入log4j-1.2.8.jar包（我们使用maven）。 (2)在根目录src下建立并配置log4j.properties，如下图所示为我的配置。 (3)使用（演示），如下图所示。 logger.debug("This is debug."); logger.info("This is an info."); logger.warn("This is a warning."); logger.error("This is an error."); logger.fatal("This is a fatal error.");