收藏本站 劰载中...网站公告 | 吾爱海洋论坛交流QQ群:835383472

node.js学习笔记之koa框架和简单爬虫练习

[复制链接]
+ b7 B1 w1 E# R2 [

Koa -- 基于 Node.js 平台的下一代 web 开发框架

3 Z" g( e, {% E

koa是由 Express 原班人马打造的,致力于成为一个更小、更富有表现力、更健壮的 Web 框架。 使用 koa 编写 web 应用,可以免除重复繁琐的回调函数嵌套, 并极大地提升错误处理的效率。koa 不在内核方法中绑定任何中间件, 它仅仅提供了一个轻量优雅的函数库,使得编写 Web 应用变得得心应手。开发思路和express差不多,最大的特点就是可以避免异步嵌套。koa2利用ES7的async/await特性,极大的解决了我们在做nodejs开发的时候异步给我们带来的烦恼。

, G5 `% w: }5 X& O* F# E

英文官网:http://koajs.com

0 r- D; S- w6 I: V- ]: s

中文官网:http://koajs.cn

' M0 |. _& m6 P" K# M6 f

1.koa

3 m" d# r( U! i1 U$ g2 a: ]

安装koa包: npm i -S koa@latest

" g- l' v* {7 \1 U% N

引入: const koa = require("koa");

实例化对象: const app = new koa; 7 l$ g) \3 \6 \4 R8 o0 V

通过实例操作,专门用于客户端请求的函数叫做中间件,使用use()注册

' U% K7 D9 w$ X& q

use()函数中必须使用异步 async; use可是调用无数次;

; q& q0 G( [9 I

其中有两个参数:

6 a: r, i, q3 M' ?) N" D

a)ctx: 上下文环境,node的请求和响应对象,其中不建议使用node原生的req和res属性,使用koa封装的requset和response属性

7 L1 C5 _% `) O2 c3 P. b) e" x

b)next: next(),将本次控制权交给下一个中间件。

3 E5 k; F0 o2 H1 w3 \7 P

最后一个中间件使用next()无意义,执行完控制权返回上一层,直至第一个。

$ b2 }. c: m" ~0 u# {5 n

1. next参数的使用demo

9 \! a, H3 r* q2 @; S) d7 o4 |
`const Koa = require(``"koa"``);`. H0 P; X+ X1 R% E0 s `const koa =` `new` `Koa();`4 Z ?6 n" U8 y, P( f `//中间件1` " R9 ^: z, M3 q9 [# E- {6 s `koa.use(async (ctx, next) => {` 9 R* J( m' H" W6 ~- ? `console.log(``"1 , 接收请求控制权"``);`4 m: d, {% h! R! w6 z1 V `await next();` `//将控制权传给下一个中间件`4 G( i! d+ T- t K' x' v5 j `console.log(``"1 , 返回请求控制权"``);`1 ~ k9 S5 K7 s4 A) C5 h `});` `//将中间件注册到koa的实例上` - S; I# i1 K: E1 [ `//中间件2`, G6 O3 M, U8 x6 x* k- S `koa.use(async (ctx, next) => {`0 E# |$ M+ w( |% f3 d `console.log(``"2 , 接收请求控制权"``);` 4 r2 w& p/ [$ g1 E4 U await next();` + y7 r8 h% }9 u& P `console.log(``"2 , 返回请求控制权"``);`4 v Y1 y' }5 |: |$ k8 |: j } `});` ^" D) m8 n5 s+ _ `//中间件3` 7 g: L% K& g0 x4 e _5 Y. T `koa.use(async (ctx, next) => {` 2 `6 Q8 n+ l4 a0 @, p( r, i. \$ e `console.log(``"3 , 接收请求控制权"``);` % O2 E. h, H$ P, ~8 B5 h) H `console.log(``"3 ,返回请求控制权"``);`# v- m: |9 O5 D* w- w3 A" h `});` 1 Q' U, v, k$ O2 c `koa.listen(3000, ()=>{` e& O4 G) i5 j `console.log(``"开始监听3000端口"``);`1 Y( D0 W% d5 I# B3 {9 I8 G3 e `});`
( c x. E- w \! b3 }( ]

注:当中间件中没有next(),不会执行下面的中间件

# ?6 \6 d4 E. F

访问localhost:3000的效果图;

0 g' C+ I" U4 M4 {# @* L* h4 R
- _% G9 n9 e8 H! \& G

注:会有两次操作是因为图标icon也会请求一次

/ a4 u' l8 j8 L) {' \" I: Z' z3 D

2.ctx参数的使用demo

1 ?3 N5 v& ^0 y5 ?
`const Koa = require(``"koa"``);`" D( I0 p. S: K# X2 m0 d1 k6 e `const koa =` `new` `Koa();`! I# W$ x/ o) t8 b$ U9 S7 C) y `koa.use(async (ctx, next)=>{`! J# `+ f+ I; K d; E `ctx.body =` `"body可以返回数据,"``;`- ^# U6 \9 @$ h8 H/ C, B `ctx.body +=` `"可以多次调用,"``;` & P3 D( Q4 E) y9 r) J! q `ctx.body +=` `"不需要end()"``;`2 `) x, L0 o' v0 H( [' c H/ O `});`$ Z: w( @+ U8 a, V `koa.listen(3000, ()=>{` / z. D) n9 ~; M1 j `0 j `console.log(``"监听开始"``);`: M: s9 X V5 ~# ^- N# ~# V: R1 ] `});`
5 z" G7 x2 s+ D

效果:

8 k, U; |. r# C8 y
! F; O9 n1 @$ A% G, E

ctx.url ,ctx.path ,ctx.query ,ctx.querystring ,ctx.state ,ctx.type

+ V1 `+ g6 c8 Z$ y. h3 e! g+ e0 x% K
`const Koa = require(``"koa"``);`* S0 Y( K. U; v( w5 _* L, h `const koa =` `new` `Koa();` # X0 M0 Q# H, @# a+ _8 h' @ `koa.use(async (ctx, next)=>{` * S/ y. t3 K, D7 O `ctx.body = ctx.url;`' N6 J7 \4 w! d# |2 B `ctx.body = ctx.path;`# R/ @" S- _6 m& O9 v `ctx.body = ctx.query;` 4 E$ E3 y' q2 o7 i' C `ctx.body = ctx.querystring;` . u* I7 z2 f/ ?3 Y( Q* B `});` ) @& B9 N* ^1 O# C `koa.listen(3000, ()=>{`6 @0 Y8 [! ]+ L2 V( o `console.log(``"监听开始"``);` & ~# I1 K. z5 p9 |2 y$ O2 E `});`
7 [# U' [8 }' E0 V1 T h

访问http://localhost:3000/path?name=sjl&age=18为例,效果图:

4 }2 d$ [# e1 r! [

1. url: 整个路径

; q. Y& i2 b! g4 H3 J' X
T( ~( w% }9 E! ?+ l

2. path: 非查询部分

- E( `' ^* g$ ~- {7 v5 F
0 c' E. v0 V; T7 F

3. query: 将查询部分转为JSON对象

& ~ w, s* J) F { ?0 W1 K5 g
' O# y/ `. j+ U [9 O4 S

4. querystring: 将查询部分转为字符串

2 X$ V' m2 v: O s D; u6 Z
' P' P+ n" N+ [6 r( C1 z9 k4 W( e

5. ctx.state ,ctx.type 表示状态吗和类型

1 m: o$ O. g9 F9 g

2.简单爬虫练习

7 |, \" \+ S' b; k1 _

安装request,cheerio模块

9 u+ D; h( y M3 j l
`npm i -S request: 请求模块` + o8 p* j! u2 ?) p( ` `npm i -S cheerio: 抓取页面模块(JQ核心)`
/ T* ~( | J9 B; z/ g* T3 n

抓取网页数据案例(随机网页)

0 A( a0 w, R9 \" b/ B2 f
`//导入模块`- o1 A* A8 c9 o* M9 Y5 f% V `const request = require(``"superagent"``);` `//导入请求模块`! b4 t) k& b/ ~8 o `const cheerio = require(``"cheerio"``);`6 c7 L; @* B0 z* n' y3 z `const {join} = require(``"path"``);` ( K, R% _9 f" {+ t' `: m; w `const fs = require(``"fs"``);` 8 D5 l; \2 o- Q* m( _$ J h. m, V `let arr = [],` `//存放数据` t# F& {0 s' s& P2 C `reg = /\n|\s+/g,` `//replace中使用` 7 Y6 K, O5 b: l9 N9 G* l `url =` `"[https://www.shiguangkey.com/course/search?key=%E5%89%8D%E7%AB%AF/](https://www.shiguangkey.com/course/search?key=%E5%89%8D%E7%AB%AF/)"``;`5 G/ O% C8 S# v; `) m$ l6 ~ `request`% F+ E+ j% @. l `.get(url)`' W, D6 \2 y! l `.end((err, res) => {`3 ~" K7 S0 W3 ^# G `const $ = cheerio.load(res.text);` `//把字符串内的标签当成dom来使用`6 B! v) _# Q3 _. s7 {4 w+ o/ u4 T; _ `$(``".course-item"``).each((i, v) => {` 4 Z, c( G% h) w `// v当前进来的dom,根据网页的布局结构来找到准确的dom节点` ! x4 ?! y6 X5 |) k- d `const obj = {` . m5 Y) x) N3 T; F5 X2 M/ m: Z. { `imgSrc : $(v).find(``"img"``).prop(``"src"``),` 6 ~( B) x% W1 z `price : $(v).find(``".fr span"``).text().replace(reg,` `""``),` # D$ \+ _1 H; A% `( E/ f `total : $(v).find(``".item-txt"``).text().replace(reg,` `""``),` 1 G, h9 K( O8 B8 R! H2 u+ Y i7 | `href : join(url + $(v).find(``".cimg"``).prop(``"href"``))`4 c" X- H l6 x# n$ |/ k `};` 0 ^1 R' X% h7 m; C `console.log(join(url + $(v).find(``".cimg"``).prop(``"href"``)));` `//拼接` # ?& z) c2 @" I0 B `arr.push(obj);` `//把对象放进数组里`1 ?- D) P8 l0 t- B) g `});`) N1 K% J2 y0 G8 r! X3 L! i# v `fs.writeFile(``"./sjl.json"``, JSON.stringify(arr));` `//将爬到的数据写入文档中` 7 [6 z% B+ o7 ]3 J4 b2 T ]; B7 b `});`
& [3 e4 C. n, K2 {0 X/ Q' E: Q0 d5 x# [

以上就是本文的全部内容,希望对大家的学习有所帮助

! x4 R2 N. D+ a) W- j, g. n 0 D$ @8 A. T/ ], @! p ( L& u# v% \. j$ B+ \. c4 b 2 ~/ h, F" Z8 u0 |8 a. l1 M5 k3 ~5 h# @: z& S5 [& L
回复

举报 使用道具

相关帖子

全部回帖
暂无回帖,快来参与回复吧
懒得打字?点击右侧快捷回复 【吾爱海洋论坛发文有奖】
您需要登录后才可以回帖 登录 | 立即注册
邢雷
活跃在2026-4-7
快速回复 返回顶部 返回列表