node.js学习笔记之koa框架和简单爬虫练习

[复制链接]
. W1 l. I( H5 j7 a: N

Koa -- 基于 Node.js 平台的下一代 web 开发框架

& t; C+ P3 K& v$ W7 `# F' |

koa是由 Express 原班人马打造的,致力于成为一个更小、更富有表现力、更健壮的 Web 框架。 使用 koa 编写 web 应用,可以免除重复繁琐的回调函数嵌套, 并极大地提升错误处理的效率。koa 不在内核方法中绑定任何中间件, 它仅仅提供了一个轻量优雅的函数库,使得编写 Web 应用变得得心应手。开发思路和express差不多,最大的特点就是可以避免异步嵌套。koa2利用ES7的async/await特性,极大的解决了我们在做nodejs开发的时候异步给我们带来的烦恼。

/ e5 Z+ S- g0 i3 I, |

英文官网:http://koajs.com

3 ^8 K. d" h% l

中文官网:http://koajs.cn

, Y8 w; N3 i+ p& S' k' T* [

1.koa

$ ?, F7 f" ^. X P) Y# @( g

安装koa包: npm i -S koa@latest

% Q5 i4 `% s! f3 g7 }: i

引入: const koa = require("koa");

实例化对象: const app = new koa; j' ?$ S0 u+ i$ D

通过实例操作,专门用于客户端请求的函数叫做中间件,使用use()注册

3 \' T+ {9 R) ]

use()函数中必须使用异步 async; use可是调用无数次;

# e$ ^2 w7 U5 } u$ G/ |" F; J

其中有两个参数:

7 M" }2 y3 x+ o

a)ctx: 上下文环境,node的请求和响应对象,其中不建议使用node原生的req和res属性,使用koa封装的requset和response属性

8 Z6 O% K& Z& s9 Z1 U

b)next: next(),将本次控制权交给下一个中间件。

; z& a1 M5 r( X8 e% \

最后一个中间件使用next()无意义,执行完控制权返回上一层,直至第一个。

2 A0 ~9 M. Y8 N$ `9 D( ^

1. next参数的使用demo

* y6 z4 k" D% u7 a3 V
`const Koa = require(``"koa"``);`. G+ |! | \* L& H* v7 |& ] `const koa =` `new` `Koa();`0 \# i+ y, g, d) R# O" A `//中间件1`0 C. l7 ?$ v9 U" w `koa.use(async (ctx, next) => {`* o' }& X% t" |- _+ m+ y `console.log(``"1 , 接收请求控制权"``);`) H- i* g+ j2 Y- X! | `await next();` `//将控制权传给下一个中间件` , ?! V m$ u) ?8 T! o4 D- w+ t `console.log(``"1 , 返回请求控制权"``);` % C- b) Q; T, O% V `});` `//将中间件注册到koa的实例上`( r1 T5 k# T1 V* |+ | `//中间件2`$ T _! W. R% W) }+ f* y `koa.use(async (ctx, next) => {`* M( t. A% d6 ^% k `console.log(``"2 , 接收请求控制权"``);`; w: t8 Y% {6 ?0 \7 p( g! Y( L await next();` & M! {) U; k3 V4 F+ r: @ `console.log(``"2 , 返回请求控制权"``);` ; b' {, a4 j' d. W% r `});`% J! t s* V: M& P4 B! l+ w: t `//中间件3` / \( K' N! O- Y; B9 {5 { `koa.use(async (ctx, next) => {`2 v. }! N! Y1 M; \* Q, d% g7 {" s `console.log(``"3 , 接收请求控制权"``);`5 H6 N7 [1 M6 V7 g `console.log(``"3 ,返回请求控制权"``);` 4 O: O: i- {/ g4 o% Q6 O `});` ( I6 F# D7 t( O1 h- j# g `koa.listen(3000, ()=>{` 5 S1 Q( N" v; I' w, U7 @$ E `console.log(``"开始监听3000端口"``);` ( x4 X$ _ A5 K4 C `});`
3 y Y' \1 u4 ~' Z

注:当中间件中没有next(),不会执行下面的中间件

! i: L; c* [/ w7 @8 D* s

访问localhost:3000的效果图;

7 m* [3 r9 i( [# F/ m& a
% h* Q* v6 d8 v0 v7 g" X# U

注:会有两次操作是因为图标icon也会请求一次

$ o+ X1 F N- T1 N9 j

2.ctx参数的使用demo

" c" m- Y# Z# B* d
`const Koa = require(``"koa"``);` & W( _3 X+ Y6 i; ^) M' C) Y- D `const koa =` `new` `Koa();` 3 Y% a1 J& @) S- E `koa.use(async (ctx, next)=>{` 5 W* B$ T, ]4 x' N* Y8 W `ctx.body =` `"body可以返回数据,"``;` " H- P: t( i1 p7 Y4 d `ctx.body +=` `"可以多次调用,"``;`, M( J% N% Y: E1 C( g8 y' s* V0 q0 s `ctx.body +=` `"不需要end()"``;`. e1 p" w! R6 u7 b8 X9 u: K5 @ `});`& v& d+ J: e9 b% S. G. w% ?( P `koa.listen(3000, ()=>{`, Z& @, g; V" M6 i `console.log(``"监听开始"``);`6 c5 e& P' v" _2 z `});`
: ^8 D p7 O# r6 _4 @9 K

效果:

& T$ d; k. [8 s" z
S) W* o! _& B/ k2 V

ctx.url ,ctx.path ,ctx.query ,ctx.querystring ,ctx.state ,ctx.type

8 u) `: Z+ S) k7 a( }) g$ b, Z q
`const Koa = require(``"koa"``);` , H& M9 p) l v `const koa =` `new` `Koa();` 1 } g9 L' |/ N `koa.use(async (ctx, next)=>{` 4 ~0 `4 A/ }* S$ L/ X; w7 Z `ctx.body = ctx.url;`) F6 ]4 L% B# e6 W9 V `ctx.body = ctx.path;`+ }* ]0 n( C; ^$ K* S, E `ctx.body = ctx.query;`6 \% @/ e5 v) f! ]3 }; _: Z `ctx.body = ctx.querystring;`8 D" O8 E; g8 v' a `});` , k& ]/ r) ~" y7 p/ m7 I `koa.listen(3000, ()=>{` 1 a) h! P7 o% c. N7 m2 v: p8 Y `console.log(``"监听开始"``);` " a, k4 Z$ Y5 s$ q4 e6 y `});`
* u( C' A( |. p1 n- P

访问http://localhost:3000/path?name=sjl&age=18为例,效果图:

% t, V1 s* Y l& `3 I- S4 @: g0 x) }

1. url: 整个路径

" A0 f' x+ w# Z- d' e% c) S
/ x+ b6 r, G. `

2. path: 非查询部分

1 t4 t/ ~! j" h/ G% G/ Q `' e) E
- j, X) h) l* C

3. query: 将查询部分转为JSON对象

0 ^" u0 w, Y% h7 g" l
* g7 ?" e7 v2 n) T+ _' @4 g j

4. querystring: 将查询部分转为字符串

$ g b* m8 a. |6 L0 J6 e
' G5 V+ ~ c" n

5. ctx.state ,ctx.type 表示状态吗和类型

0 \+ i# M5 a: j) X ]7 G' f

2.简单爬虫练习

, g! j+ ]$ e& c$ H, f7 D' \- Y

安装request,cheerio模块

1 D4 i2 d a; u& l( K! Q; }
`npm i -S request: 请求模块`' G* C4 G$ @1 t& p* i7 {. q `npm i -S cheerio: 抓取页面模块(JQ核心)`
/ c$ I% m& I9 z7 p# ~* M

抓取网页数据案例(随机网页)

( u$ v7 m& m n7 R
`//导入模块`' g" ~% B. I. ~7 ?! v& J `const request = require(``"superagent"``);` `//导入请求模块`; Z7 F5 j* D/ E: O& @3 X `const cheerio = require(``"cheerio"``);`. q8 K o- G- {) c3 ^2 d `const {join} = require(``"path"``);` d) s5 k3 c. W1 w+ H `const fs = require(``"fs"``);`$ [8 I- B2 w4 P( ~) }, o `let arr = [],` `//存放数据` 5 U& S! z* a$ E7 c# c- R0 ], x `reg = /\n|\s+/g,` `//replace中使用` : T- b C m% C: m8 z `url =` `"[https://www.shiguangkey.com/course/search?key=%E5%89%8D%E7%AB%AF/](https://www.shiguangkey.com/course/search?key=%E5%89%8D%E7%AB%AF/)"``;`9 x0 B7 l3 z, ?/ G! D `request` * Y2 B% g8 I# |1 U `.get(url)` 8 }* f/ f# \, u9 I. f; n `.end((err, res) => {` - N* W2 b9 c* \. W% X7 x' E3 u4 @ `const $ = cheerio.load(res.text);` `//把字符串内的标签当成dom来使用`3 C- G( }% j6 ^, {2 A7 c5 w9 w `$(``".course-item"``).each((i, v) => {` 6 i& p0 ~1 M) s2 a ~8 S5 G `// v当前进来的dom,根据网页的布局结构来找到准确的dom节点`: h* y, o; h/ V0 @( M5 I$ b `const obj = {`5 B; a7 I3 r1 f. ~! Z3 a" Q6 I0 v9 T `imgSrc : $(v).find(``"img"``).prop(``"src"``),`6 v9 h9 z% N5 D `price : $(v).find(``".fr span"``).text().replace(reg,` `""``),` # x* F L D8 {$ M: l `total : $(v).find(``".item-txt"``).text().replace(reg,` `""``),` & u7 l' i: Q. z4 r2 ~ `href : join(url + $(v).find(``".cimg"``).prop(``"href"``))`% t7 J, ^4 @& W6 `2 O7 }9 g% B `};`1 V: r! g5 y* C$ Q4 ~" @) h9 X `console.log(join(url + $(v).find(``".cimg"``).prop(``"href"``)));` `//拼接`% ?& X$ {- p1 h5 ?5 S+ { `arr.push(obj);` `//把对象放进数组里` . Q, ]3 [2 `" L' t* E1 G; Y( M& R `});`( z+ w# `4 L0 n m/ E4 G `fs.writeFile(``"./sjl.json"``, JSON.stringify(arr));` `//将爬到的数据写入文档中`9 W: c% l+ ?' C `});`
/ b% y! f" @8 U" \& f% r; r* }6 @

以上就是本文的全部内容,希望对大家的学习有所帮助

2 j/ o( d7 D# _0 y& W ( X, p% ?, j3 V: N+ H . Q2 g/ ?/ M$ _/ v7 f" }( k. E, |. I/ ] * C& R7 N+ [4 F0 W1 Y
回复

举报

相关帖子

全部回帖
暂无回帖,快来参与回复吧
懒得打字?点击右侧快捷回复 【吾爱海洋论坛发文有奖】
您需要登录后才可以回帖 登录 | 立即注册
邢雷
活跃在2025-1-23
快速回复 返回顶部 返回列表