HttpClient和Jsoup详解1. 网络爬虫简介网络爬虫(web crawler)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 1.1 爬虫入门程序 JDK1.8 IntelliJ IDEA DEA自带的Maven 环境准备创建Maven工程itbuild-crawler-first并往pom.xml文件中添加依赖 1234567891011121314151617181920212223<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/x ...

[toc] WebMagic详解1. WebMagic介绍昨天完成了爬虫的入门的学习，是一个最基木的爬虫案例，今天我们要学习一款爬虫框架的使用就是WebMagic。其底层用到了我们上一天课程所使用的HttpClient和 Jsoup，让我们能够更方便的开发爬虫。 WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。 WebMagic的设计目标是尽量的模块化，并体现爬虫的功能特点。这部分提供非常简单、灵活的API，在基木不改变开发模式的情况下，编写一个爬虫。 扩展部分(webmagic-extension)提供一些便捷的功能，例如注解模式编写爬虫等。同时内置了一些常用的组件，便于爬虫开发。 1.1 架构介绍WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。WebMagic的设计参考了Scapy，但是实现方式更Java ...

京东手机数据爬取案例学习了HttpClient 和l Jsoup，就掌握了如何抓取数据和如何解析数据，接下来，我们做一个小练习，把京东的手机数据抓取下来。 主要目的是 HttpClient和 Jsoup 的学习。 1. 需求分析首先访问京东，搜索手机，分析页面，我们抓取以下商品数据：商品图片、价格、标题、商品详情页。 1.1 SPU和 SKU除了以上四个属性以外，我们发现上图中的苹果手机有四种产品，我们应该每一种都要抓取。那么这里就必须要了解 spu 利 sku 的概念。 SPU = Standard Product Unit(标准产品单位) SPU是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息的集合，该集合描述了一个产品的特性。通俗点讲，属性值、特性相同的商品就可以称为一个SPU。 例如上图中的苹果手机就是SPU，包括红色、深灰色、金色、银色。 SKU=stock keeping unit(库存量单位) SKU即库存进出计量的单位，可以是以件、盒、托盘等为单位。SKU是物理上不可分割的最小存货单元。在使用时要根据不同业态，不同管理模式来处理。在服装、鞋类商品中使用最多最 ...

无奈夜长人不寐，数声和月到帘栊。 ——李煜《捣练子令》 JavaSE-多线程基础知识 我们在之前，学习的程序在没有跳转语句的前提下，都是由上至下依次执行，那现在想要设计一个程序，边打游戏边听歌，怎么设计？要解决上述问题,咱们得使用多进程或者多线程来解决。 1. 多线程知识储备1.1 并发与并行 并行：指两个或多个事件在同一时刻发生（同时发生）。 并发：指两个或多个事件在同一个时间段内发生。 在操作系统中，安装了多个程序，并发指的是在一段时间内宏观上有多个程序同时运行，这在单 CPU 系统中，每一时刻只能有一道程序执行，即微观上这些程序是分时的交替运行，只不过是给人的感觉是同时运行，那是因为分时交替运行的时间是非常短的。 而在多个 CPU 系统中，则这些可以并发执行的程序便可以分配到多个处理器上（cpu），实现多任务并行执行，即利用每个处理器来处理一个可以并发执行的程序，这样多个程序便可以同时执行。目前电脑市场上说的多核CPU，便是多核处理器，核越多，并行处理的程序越多，能大大的提高电脑运行的效率。 注意：单核处理器的计算机肯定是不能并行的处理多个任务的，只能是多 ...

[toc] 前端–JavaScript入门1. JavaScript简介 JavaScript一种直译式脚本语言，是一种动态类型、弱类型、基于原型的语言，内置支持类型。它的解释器被称为JavaScript引擎，为浏览器的一部分，广泛用于客户端的脚本语言，最早是在HTML（标准通用标记语言下的一个应用）网页上使用，用来给HTML网页增加动态功能。 在1995年时，由Netscape公司的Brendan Eich，在网景导航者浏览器上首次设计实现而成。因为Netscape与Sun合作，Netscape管理层希望它外观看起来像Java，因此取名为JavaScript。但实际上它的语法风格与Self及Scheme较为接近。 为了取得技术优势，微软推出了JScript，CEnvi推出ScriptEase，与JavaScript同样可在浏览器上运行。为了统一规格，因为JavaScript兼容于ECMA标准，因此也称为ECMAScript—指定了语言的规范。 2. JavaScript研发的目的 验证表达数据是否合法。如今js能做哪些事情： 验证表单数据是否合法。 网页的动态效果。 服务器 ...

衣带渐宽终不悔。为伊消得人憔悴。 ——柳永《蝶恋花》 Java NIO1. Java NIO 简介 Java NIO（New IO）是从Java 1.4版本开始引入的一个新的IO API，可以替代标准的Java IO API。 NIO与原来的IO有同样的作用和目的，但是使用的方式完全不同，NIO支持面向缓冲区的、基于通道的IO操作。NIO将以更加高效的方式进行文件的读写操作。 2. Java NIO 与 IO 的主要区别 IO NIO 面向流(Stream Oriented) 面向缓冲区(Buffer Oriented) 阻塞IO(Blocking IO) 非阻塞IO(Non Blocking IO) (无) 选择器(Selectors) 3. 缓冲区(Buffer)和通道(Channel) Java NIO系统的核心在于：通道(Channel)和缓冲区(Buffer)。通道表示打开到IO 设备(例如：文件、套接字)的连接。若需要使用NIO 系统，需要获取用于连接IO 设备的通道以及用于容纳数据的缓冲区。然后操作缓冲区，对数据进行处理。 ==简而言之，Ch ...

三十功名尘与土，八千里路云和月。莫等闲，白了少年头，空悲切。 ——岳飞《满江红》 JVM虚拟机栈1. 虚拟机栈概述 由于跨平台性的设计，Java的指令都是根据栈来设计的。不同平台CPU架构不同，所以不能设计为基于寄存器的。 优点是跨平台，指令集小，编译器容易实现； 缺点是性能下降，实现同样的功能需要更多的指令。 有不少Java开发人员一提到Java内存结构，就会非常粗粒度地将JVM中的内存区理解为仅有Java堆（heap）和Java栈（stack）？为什么？ ☆栈是运行时的单位，而堆是存储的单位☆ 栈解决程序的运行问题，即程序如何执行，或者说如何处理数据。 堆解决的是数据存储的问题，即数据怎么放，放哪里 2. Java虚拟机栈是什么？ Java虚拟机栈（Java Virtual Machine Stack），早期也叫Java栈。每个线程在创建时都会创建一个虚拟机栈，其内部保存一个个的栈帧（Stack Frame），对应着一次次的Java方法调用。 Java虚拟机栈是线程私有的，生命周期和线程一致，也就是线程结束了，该虚拟机栈也销毁了。 ~~~~jav ...

今年花胜去年红。可惜明年花更好，知与谁同？ ——欧阳修《浪淘沙》 JVM之深入理解堆1. 堆的核心概念 堆针对一个JVM进程来说是唯一的，也就是一个进程只有一个JVM，但是进程包含多个线程，他们是共享同一堆空间的。 一个JVM实例只存在一个堆内存，堆也是Java内存管理的核心区域。 Java堆区在JVM启动的时候即被创建，其空间大小也就确定了。是JVM管理的最大一块内存空间。 堆内存的大小是可以调节的。 ~~~java// 如果设置最小堆内存和最大堆内存，建议设置成相同值-Xms10m：最小堆内存 -Xmx10m：最大堆内存 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011 ...

[toc] 爬取51job网Java招聘信息我们已经学完了WebMagic的基本使用方法，现在准备使用WebMagic实现爬取数据的功能。这里是一个比较完整的实现。 在这里我们实现的是聚焦网络爬虫，只爬取招聘的相关数据。 1. 业务分析今天要实现的是爬取https://www.51job.com/上的招聘信息, 只爬取与“java”相关和在南京地区行业的信息。 首先访问页面搜索”南京“+“Java”,结果如下： 点击职位详情页，我们分析发现详情页还有一些数据需要抓取： 职位、公司名称、工作地点、薪资、发布时间、职位信息、公司联系方式、公司信息。 2. 数据库表根据以上信息，设计数据库表： 1234567891011121314CREATE TABLE `job_info` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键id', `company_name` varchar(100) DEFAULT NULL COMMENT '公司名称', `company_addr` varc ...

往事悠悠君莫问，回头。槛外长江空自流。 ——王安石《南乡子》 垃圾回收器1. GC分类与性能指标1.1 垃圾回收器概述 垃圾收集器没有在规范中进行过多的规定，可以由不同的厂商、不同版本的JVM来实现。 由于JDK的版本处于高速迭代过程中，因此Java发展至今已经衍生了众多的GC版本。 从不同角度分析垃圾收集器，可以将GC分为不同的类型。 ==怎么学习Java不同版本新特性？== 语法层面：Lambda表达式、switch、自动拆箱装箱、enum。 API层面：Stream API、新的日期时间、Optional、String、集合框架。 底层优化：JVM优化、GC的变化、元空间、静态域、字符串常量池位置变化。 1.2 垃圾回收器分类按线程数分 按线程数分（垃圾回收线程数），可以分为串行垃圾回收器和并行垃圾回收器。 串行回收指的是在同一时间段内只允许有一个CPU用于执行垃圾回收操作，此时工作线程被暂停，直至垃圾收集工作结束。 在诸如单CPU处理器或者较小的应用内存等硬件平台不是特别优越的场合，串行回收器的性能表现可以超过并行回收器和并发回收器。所以，串行回收 ...