收藏本站 劰载中...网站公告 | 吾爱海洋论坛交流QQ群:835383472

node.js学习笔记之koa框架和简单爬虫练习

[复制链接]
9 i1 e2 Y+ ]3 Y

Koa -- 基于 Node.js 平台的下一代 web 开发框架

' U+ d5 s/ w- L2 M. M

koa是由 Express 原班人马打造的,致力于成为一个更小、更富有表现力、更健壮的 Web 框架。 使用 koa 编写 web 应用,可以免除重复繁琐的回调函数嵌套, 并极大地提升错误处理的效率。koa 不在内核方法中绑定任何中间件, 它仅仅提供了一个轻量优雅的函数库,使得编写 Web 应用变得得心应手。开发思路和express差不多,最大的特点就是可以避免异步嵌套。koa2利用ES7的async/await特性,极大的解决了我们在做nodejs开发的时候异步给我们带来的烦恼。

- t4 k) K! P7 v) ?1 t& X+ O/ J6 Y8 _

英文官网:http://koajs.com

9 v% o B- m, S% C) ~! `+ l' p

中文官网:http://koajs.cn

+ Q% h# M2 Q& e, d$ P0 R; K

1.koa

F# T0 l7 d& X( T7 e$ T

安装koa包: npm i -S koa@latest

}2 |: ?9 E% O# p

引入: const koa = require("koa");

实例化对象: const app = new koa;8 H" ~' {( j4 b: t& P+ O1 [6 x

通过实例操作,专门用于客户端请求的函数叫做中间件,使用use()注册

) \1 S! O) k( j- D9 K0 R3 T* a* X' F

use()函数中必须使用异步 async; use可是调用无数次;

' Q8 x* \% ?2 s: F8 K

其中有两个参数:

9 ]& d9 ]; }8 R5 q# U* l

a)ctx: 上下文环境,node的请求和响应对象,其中不建议使用node原生的req和res属性,使用koa封装的requset和response属性

3 l! A, E; {7 `! i$ n9 I `

b)next: next(),将本次控制权交给下一个中间件。

2 k, o- V/ ?5 {2 N" k2 }

最后一个中间件使用next()无意义,执行完控制权返回上一层,直至第一个。

& K5 i! z+ p& P$ M9 F

1. next参数的使用demo

9 B# d7 N+ a2 j$ f+ Q+ i
`const Koa = require(``"koa"``);` ( A8 J4 N% W9 @+ U% ^# w8 |% ` `const koa =` `new` `Koa();`- @' n* z& O! G" q M/ Z1 \ `//中间件1` # d3 C8 Y& p8 W* l+ M8 I8 K) S+ ]% ` `koa.use(async (ctx, next) => {` 0 r j& \, `6 r) y `console.log(``"1 , 接收请求控制权"``);` * P+ E5 y: E% h `await next();` `//将控制权传给下一个中间件` : B0 W1 P8 v+ @+ d `console.log(``"1 , 返回请求控制权"``);`9 O* \+ B6 {. x3 q( D7 f `});` `//将中间件注册到koa的实例上` / G" p$ X. h# m' G Z& b) J& a `//中间件2` - y, f9 S- f! K( U& w3 x `koa.use(async (ctx, next) => {`* _& {$ w, \) K- T `console.log(``"2 , 接收请求控制权"``);`4 A4 L0 S2 A8 }( d! N; z5 k& D await next();`$ I, ?7 Y4 v/ S9 k* y# w `console.log(``"2 , 返回请求控制权"``);`3 r5 Y/ j! j) P9 B" R `});` - p* H( @* a% Y- q `//中间件3` 1 ~, e# L0 Q/ O( z `koa.use(async (ctx, next) => {` 1 l+ [3 [; O% c8 B `console.log(``"3 , 接收请求控制权"``);` 1 O/ [% z, U' v/ |7 i/ l `console.log(``"3 ,返回请求控制权"``);`5 y5 K; g& Z7 c, Z) O8 b `});`$ C% ^/ h. S& P& ?6 O! v `koa.listen(3000, ()=>{`( r3 p k9 Y# ^/ a `console.log(``"开始监听3000端口"``);`! W+ N, \% M5 t" G* _) J `});`
& y7 F- D0 [3 a! }

注:当中间件中没有next(),不会执行下面的中间件

) R6 ?, l# h+ ^+ S

访问localhost:3000的效果图;

: x2 E3 Z h+ j+ P; C
3 g; s2 u, N) L# I

注:会有两次操作是因为图标icon也会请求一次

+ Y' z" W# @2 U/ @, t" F: p

2.ctx参数的使用demo

: X |# f! P# d3 j/ B1 K- y( ]5 Q; |$ i
`const Koa = require(``"koa"``);`" n' }1 o0 m4 g/ c' G3 k$ V* C `const koa =` `new` `Koa();` + L, i$ ]- y/ G( V8 s `koa.use(async (ctx, next)=>{` 0 z5 [/ X" i; b/ s: v( n% C; m `ctx.body =` `"body可以返回数据,"``;` " _$ S$ Y: X. [/ A' {& c! T `ctx.body +=` `"可以多次调用,"``;` ' P2 w+ _: c/ x. M& C3 A `ctx.body +=` `"不需要end()"``;` 0 H7 ]6 K- i- R' E `});` 9 E+ L5 v7 W' V! s `koa.listen(3000, ()=>{` / l: }! p0 |; ? `console.log(``"监听开始"``);` . |1 T5 l3 r4 [; T- B1 T `});`
+ P, Q! ^( M$ P9 ?. l9 k

效果:

1 c% Y7 i5 z6 G1 B
3 P6 ^/ u" [8 V# M- m; a& X

ctx.url ,ctx.path ,ctx.query ,ctx.querystring ,ctx.state ,ctx.type

7 ^ n4 @0 f9 t3 S
`const Koa = require(``"koa"``);` ! Y$ ^4 I+ @1 s- R" s, h `const koa =` `new` `Koa();` ( U m) m' q7 O4 U% r `koa.use(async (ctx, next)=>{` * d4 Y7 t6 K! x `ctx.body = ctx.url;` # c2 t+ w6 N, c6 o% D0 H- n8 z+ M `ctx.body = ctx.path;` 3 U$ @- y3 J5 m: F ^) B7 { `ctx.body = ctx.query;`7 @! m1 f3 ]! U2 a& }! h, p `ctx.body = ctx.querystring;` r- G }8 r2 r1 J `});`/ p+ z) u7 Y% e7 `5 `! F# u `koa.listen(3000, ()=>{` Z' e ` H* U+ Q4 m7 f `console.log(``"监听开始"``);` ( Z2 E5 K5 Q; z5 N' C9 y# Y `});`
& x! h. H9 O: f2 M

访问http://localhost:3000/path?name=sjl&age=18为例,效果图:

: V" g$ ]9 r S. E

1. url: 整个路径

: k' C5 o' d$ _3 X6 n
+ N) G' G6 S8 F' z2 c0 n

2. path: 非查询部分

% e" b( d& X- a Z: E3 ^
$ B9 e5 Q" C9 C9 P8 J0 V

3. query: 将查询部分转为JSON对象

3 h) v& U9 L/ n0 E8 n1 Z# s
( c' p0 J2 s$ h* _

4. querystring: 将查询部分转为字符串

I& ^8 v5 V/ v6 k5 Z7 S
) x K* g3 k- w/ E! m

5. ctx.state ,ctx.type 表示状态吗和类型

8 p r: }8 ~. e( {/ z! \

2.简单爬虫练习

" x4 X! ^! K, m& m$ [ n3 E

安装request,cheerio模块

" H: a: o* `+ H% N4 C5 ]. F. d* x
`npm i -S request: 请求模块`/ V1 B4 w, Q3 n `npm i -S cheerio: 抓取页面模块(JQ核心)`
- x7 S3 ?4 \* v; {7 ?2 u

抓取网页数据案例(随机网页)

; Z9 @" P% {! }' ^& u% }; [
`//导入模块` 8 S) T. c- I1 b3 N/ ?! M! Z `const request = require(``"superagent"``);` `//导入请求模块`0 r: Q$ y' {' J! p( ]1 S) C3 C `const cheerio = require(``"cheerio"``);` ' |' ]) m5 J6 E; F `const {join} = require(``"path"``);` 5 Q% P% F9 J3 q2 @ j& @) E X `const fs = require(``"fs"``);` 6 u l4 a0 G# w9 V& d2 h% x1 i+ n `let arr = [],` `//存放数据` 5 g1 s8 }! ?' _- C0 d5 j* j `reg = /\n|\s+/g,` `//replace中使用` / |- y2 p$ ?7 j `url =` `"[https://www.shiguangkey.com/course/search?key=%E5%89%8D%E7%AB%AF/](https://www.shiguangkey.com/course/search?key=%E5%89%8D%E7%AB%AF/)"``;`9 J6 C/ h A6 p) g+ c$ b `request` 9 ?7 ^0 q7 F& o& } `.get(url)` $ h; l, x$ b: K: R8 n `.end((err, res) => {`+ |- L9 _3 E0 Q$ g. I# `8 p$ [ `const $ = cheerio.load(res.text);` `//把字符串内的标签当成dom来使用` 6 f: C. q9 ?9 _% }) r `$(``".course-item"``).each((i, v) => {` ; p$ a2 x+ E7 D `// v当前进来的dom,根据网页的布局结构来找到准确的dom节点` : C6 E0 W0 D) t& a* _, t K `const obj = {`' T8 C6 A/ o" L `imgSrc : $(v).find(``"img"``).prop(``"src"``),` $ P1 y. B5 u) ^% l! n* b9 R$ _ `price : $(v).find(``".fr span"``).text().replace(reg,` `""``),` " v! V2 D* H2 B3 t `total : $(v).find(``".item-txt"``).text().replace(reg,` `""``),`3 ~- Z% b' L; y9 R8 u `href : join(url + $(v).find(``".cimg"``).prop(``"href"``))`8 M- V+ s+ s; O0 c `};`7 `6 n$ S0 s8 P5 T. j `console.log(join(url + $(v).find(``".cimg"``).prop(``"href"``)));` `//拼接` ( H8 O' ^9 L5 B2 s' i `arr.push(obj);` `//把对象放进数组里` ; j& _5 w) w5 |4 C `});` & N3 j, O" w, U7 K- A8 H6 \ `fs.writeFile(``"./sjl.json"``, JSON.stringify(arr));` `//将爬到的数据写入文档中` ; B+ |' c( |" h `});`
: T1 p+ W2 D1 k- ?

以上就是本文的全部内容,希望对大家的学习有所帮助

8 B7 ~* F% v6 S' t$ i/ ~' [ ) ]* ~7 g+ H9 m! M7 a* S 6 M* P0 [2 s" D8 ~/ x5 D9 T+ r& u ' t( [1 R& d' A% Z2 t
回复

举报 使用道具

相关帖子

全部回帖
暂无回帖,快来参与回复吧
懒得打字?点击右侧快捷回复 【吾爱海洋论坛发文有奖】
您需要登录后才可以回帖 登录 | 立即注册
邢雷
活跃在2026-2-7
快速回复 返回顶部 返回列表