收藏本站 劰载中...网站公告 | 吾爱海洋论坛交流QQ群:835383472

node.js学习笔记之koa框架和简单爬虫练习

[复制链接]
, X! t, ]! U* W' t* A

Koa -- 基于 Node.js 平台的下一代 web 开发框架

6 h/ M0 Y# V/ C! Z, t

koa是由 Express 原班人马打造的,致力于成为一个更小、更富有表现力、更健壮的 Web 框架。 使用 koa 编写 web 应用,可以免除重复繁琐的回调函数嵌套, 并极大地提升错误处理的效率。koa 不在内核方法中绑定任何中间件, 它仅仅提供了一个轻量优雅的函数库,使得编写 Web 应用变得得心应手。开发思路和express差不多,最大的特点就是可以避免异步嵌套。koa2利用ES7的async/await特性,极大的解决了我们在做nodejs开发的时候异步给我们带来的烦恼。

! X8 \: p) |5 ^* K( x

英文官网:http://koajs.com

# p, ^) }2 A6 `4 A! i5 J `

中文官网:http://koajs.cn

% y0 E" r0 ~ S! |' T1 W0 z

1.koa

4 n) ?8 C& [( ?6 Y* C) z% y+ u/ j9 e

安装koa包: npm i -S koa@latest

5 [. H; e- Y" m5 R2 u

引入: const koa = require("koa");

实例化对象: const app = new koa; 7 H$ k2 ]/ g+ R& a) k# S. r

通过实例操作,专门用于客户端请求的函数叫做中间件,使用use()注册

3 M" g" t. X8 `4 ?/ \* d

use()函数中必须使用异步 async; use可是调用无数次;

. Q2 b' f" @4 Q% t% v# T0 _" q

其中有两个参数:

( I \* m8 N/ E: j1 g+ f6 m8 Y

a)ctx: 上下文环境,node的请求和响应对象,其中不建议使用node原生的req和res属性,使用koa封装的requset和response属性

3 U- u6 e' B1 F5 S" n1 q3 H: [

b)next: next(),将本次控制权交给下一个中间件。

/ q' p' m6 |; C) J: Y

最后一个中间件使用next()无意义,执行完控制权返回上一层,直至第一个。

- B! c2 G3 X8 O1 h, q

1. next参数的使用demo

; K! k, v0 x2 V
`const Koa = require(``"koa"``);`. M q3 d8 x: k7 Q8 N, ? `const koa =` `new` `Koa();`& `7 _8 ]5 N/ o% M `//中间件1`4 H( m2 y& ^" h% w3 W# ?9 ]" A& ?9 c `koa.use(async (ctx, next) => {`" ?2 P$ t2 m! `9 Q! v0 F. H! \ `console.log(``"1 , 接收请求控制权"``);`- c K* J5 G. Q: E `await next();` `//将控制权传给下一个中间件`. _0 s; ]4 F2 e4 ?4 s3 ` `console.log(``"1 , 返回请求控制权"``);`1 d" C+ G$ q) F& X `});` `//将中间件注册到koa的实例上` ( N* S. C+ T/ W4 F4 f `//中间件2`- d/ E+ }9 y5 J+ U6 H `koa.use(async (ctx, next) => {`) r2 z9 \! n3 G5 x `console.log(``"2 , 接收请求控制权"``);`( B3 S) x) o) {+ b1 X6 b: u$ J await next();` % J% ]' J' L# [& m6 v1 D `console.log(``"2 , 返回请求控制权"``);` ! }; o1 |# N! w$ j6 S& P0 ? `});` 8 _, F, u- h* E) e* U) z `//中间件3`4 z6 g% M$ r' k1 |# h$ `9 W8 x `koa.use(async (ctx, next) => {`0 S& H% {5 \4 y9 q; g5 e( n: n `console.log(``"3 , 接收请求控制权"``);`; x! a! E+ Q( C2 S1 T) ?! e% I9 ^ `console.log(``"3 ,返回请求控制权"``);` / G* @# q, z4 C! L `});` ! ?2 W7 f. ]; t1 Q! |. b `koa.listen(3000, ()=>{`$ R2 A& w: {8 U `console.log(``"开始监听3000端口"``);`; y2 `7 j! M4 o# A# }" c( G& h `});`
! `/ h8 c i1 D' h

注:当中间件中没有next(),不会执行下面的中间件

* f! X! Y3 @5 [

访问localhost:3000的效果图;

* O, D r5 `$ Y; J9 w$ b, B
0 n1 j5 E3 z% ~4 K

注:会有两次操作是因为图标icon也会请求一次

" f a* u! `6 S1 V$ @) q6 D

2.ctx参数的使用demo

' b4 R7 t9 F+ X- _ S; d! h' h
`const Koa = require(``"koa"``);`$ {7 y' B/ [7 }; N& r9 F6 e4 R) f `const koa =` `new` `Koa();`2 V0 j9 K. @ p3 E `koa.use(async (ctx, next)=>{`4 V* a. e0 ^8 @8 n5 T `ctx.body =` `"body可以返回数据,"``;`- K6 K1 l* L; T& N# O9 E `ctx.body +=` `"可以多次调用,"``;` & e1 X; j- y1 ]6 _, B. ~% [ `ctx.body +=` `"不需要end()"``;` : L% Z, r a9 @' Z& J `});` / Y. q. J' v, r$ l* D& w _ `koa.listen(3000, ()=>{`7 t2 |! T) J: R& D; z, V `console.log(``"监听开始"``);` 3 d6 Z2 Z% }% h s, q6 w1 y `});`
# ]4 E+ W- {4 ^5 c

效果:

6 D9 [* u* C6 U3 q4 n9 E
8 ^' N { ^0 \0 n

ctx.url ,ctx.path ,ctx.query ,ctx.querystring ,ctx.state ,ctx.type

* } k( V, M$ h! _/ F }' e
`const Koa = require(``"koa"``);`7 h: ?$ Z; S8 i- _' Y `const koa =` `new` `Koa();` $ Z% |" |6 C9 F' T$ m, A+ `" W `koa.use(async (ctx, next)=>{` 7 j4 T% d) I* {( h) } `ctx.body = ctx.url;` & Q( R0 p9 \: W `ctx.body = ctx.path;` ) g0 Y+ U6 h$ x1 W3 v( M1 S `ctx.body = ctx.query;`2 H D3 X$ H7 U& I$ O0 Y: | `ctx.body = ctx.querystring;`2 R1 @, X* `3 g6 I d8 R `});`& X- Z8 U1 h5 e6 Q7 z0 i9 N' L6 m `koa.listen(3000, ()=>{` 4 t0 h) F1 M" j% D t `console.log(``"监听开始"``);`) q1 ?0 X+ F5 O; p$ N8 l7 [ `});`
8 \: f/ _6 q, P3 W" l& {3 V# l

访问http://localhost:3000/path?name=sjl&age=18为例,效果图:

0 _' p2 l8 Q2 N- J7 f2 k

1. url: 整个路径

7 ^5 B* @" C& S1 F, p
1 I6 a& B2 P: f

2. path: 非查询部分

- _8 {3 p, X* s2 E$ y+ O
0 z9 k0 b$ q- W3 M7 n% \5 W

3. query: 将查询部分转为JSON对象

5 ^/ L9 H. H" Q, Z
" \# K! s- n# a) I# L

4. querystring: 将查询部分转为字符串

9 v5 r9 t2 r$ f+ R) x
4 n# R& a' R7 K

5. ctx.state ,ctx.type 表示状态吗和类型

J1 B: l& u! U7 b! T( ~5 x2 c

2.简单爬虫练习

( u2 H) Q" B0 {5 C: U- \ ~

安装request,cheerio模块

1 ]( R- |6 G. C v0 b
`npm i -S request: 请求模块` % O, T7 v$ ~/ J$ v `npm i -S cheerio: 抓取页面模块(JQ核心)`
# I6 u( ~+ O; ]

抓取网页数据案例(随机网页)

8 x' M% g) }" M1 [' |" M$ |
`//导入模块` 0 Z$ c/ x$ T6 o; a0 L- k `const request = require(``"superagent"``);` `//导入请求模块`: u7 X* N& o2 }$ j* N% I! O8 U* Y% r3 S `const cheerio = require(``"cheerio"``);` ( m) o/ A: X" _+ A: u' b0 k `const {join} = require(``"path"``);` 4 F ~1 T( m3 ~% |+ G `const fs = require(``"fs"``);` : `. ^. `" ^1 @) K `let arr = [],` `//存放数据` ! Y7 v4 c5 j) ^# I' h v `reg = /\n|\s+/g,` `//replace中使用`7 j- y8 O) B2 r) o% C3 C `url =` `"[https://www.shiguangkey.com/course/search?key=%E5%89%8D%E7%AB%AF/](https://www.shiguangkey.com/course/search?key=%E5%89%8D%E7%AB%AF/)"``;`/ H! w) t7 ?/ h0 s# U- _' P5 A y- a `request`4 T: R7 v, G$ h0 w* I `.get(url)` + a5 K6 @' W* Z* r" I `.end((err, res) => {` # v: ~5 w) k" S7 ] `const $ = cheerio.load(res.text);` `//把字符串内的标签当成dom来使用`( J9 \- L! M" M9 }3 Y) H `$(``".course-item"``).each((i, v) => {`+ Y( q2 v0 { w7 q9 g' | `// v当前进来的dom,根据网页的布局结构来找到准确的dom节点` # J5 _6 \9 p! f- J* _, M" F `const obj = {`9 ^9 x* u) [4 Q9 H& v, ?! t `imgSrc : $(v).find(``"img"``).prop(``"src"``),`& p5 Z6 J1 D E6 O$ E `price : $(v).find(``".fr span"``).text().replace(reg,` `""``),`4 b+ ]8 w5 X+ p, _8 P }& l m7 Q `total : $(v).find(``".item-txt"``).text().replace(reg,` `""``),` 2 t+ P+ o# F j! }' O, F `href : join(url + $(v).find(``".cimg"``).prop(``"href"``))`: ~# S% y* O% N9 f `};` 3 X4 I8 V( g% d/ a `console.log(join(url + $(v).find(``".cimg"``).prop(``"href"``)));` `//拼接` 0 x6 E) k7 Q- P) e: M" u) O8 O `arr.push(obj);` `//把对象放进数组里` . C# T0 w% ~: F. ? `});`" w( G; k4 \; N+ G `fs.writeFile(``"./sjl.json"``, JSON.stringify(arr));` `//将爬到的数据写入文档中` 5 ]4 ^: M6 \9 c1 e7 \ `});`
& n! k# R7 n/ u' b; W4 A

以上就是本文的全部内容,希望对大家的学习有所帮助

4 T& S/ L/ k) @ F0 M0 Q1 z3 A! S( y : q8 G X ^3 C. H) b" ?$ m; N2 M) J0 K5 K z% `8 {. L% o. Y
回复

举报 使用道具

相关帖子

全部回帖
暂无回帖,快来参与回复吧
懒得打字?点击右侧快捷回复 【吾爱海洋论坛发文有奖】
您需要登录后才可以回帖 登录 | 立即注册
邢雷
活跃在2026-2-7
快速回复 返回顶部 返回列表