收藏本站 劰载中...网站公告 | 吾爱海洋论坛交流QQ群:835383472

node.js学习笔记之koa框架和简单爬虫练习

[复制链接]
5 A! I* H9 ~- Y, u" c* \

Koa -- 基于 Node.js 平台的下一代 web 开发框架

$ J x5 q. v1 ^5 t- a

koa是由 Express 原班人马打造的,致力于成为一个更小、更富有表现力、更健壮的 Web 框架。 使用 koa 编写 web 应用,可以免除重复繁琐的回调函数嵌套, 并极大地提升错误处理的效率。koa 不在内核方法中绑定任何中间件, 它仅仅提供了一个轻量优雅的函数库,使得编写 Web 应用变得得心应手。开发思路和express差不多,最大的特点就是可以避免异步嵌套。koa2利用ES7的async/await特性,极大的解决了我们在做nodejs开发的时候异步给我们带来的烦恼。

' T6 Y$ H( C0 V. g* C/ B: A

英文官网:http://koajs.com

+ K5 P; q0 a3 U) }/ O2 E

中文官网:http://koajs.cn

1 ~/ h3 U! i7 A& l/ D: I* n p

1.koa

/ h. H" j/ t6 _) {2 L

安装koa包: npm i -S koa@latest

6 \0 [ `5 @- Z8 w

引入: const koa = require("koa");

实例化对象: const app = new koa;/ |8 u4 u$ _9 }1 b: T8 q" y

通过实例操作,专门用于客户端请求的函数叫做中间件,使用use()注册

3 l9 m8 U( u) U4 s( Q) t. Q, I% a

use()函数中必须使用异步 async; use可是调用无数次;

7 G) U8 S' q/ r* `2 |

其中有两个参数:

9 ?6 [" `+ s( @8 v2 n

a)ctx: 上下文环境,node的请求和响应对象,其中不建议使用node原生的req和res属性,使用koa封装的requset和response属性

; b/ o% g/ F* H' ]0 g

b)next: next(),将本次控制权交给下一个中间件。

( o& I4 [+ Z a4 K3 l9 P P8 f# x

最后一个中间件使用next()无意义,执行完控制权返回上一层,直至第一个。

' t: W6 Y* O9 t# N% p

1. next参数的使用demo

# o0 ]) o3 Q1 l+ _
`const Koa = require(``"koa"``);` ; ^* p3 b5 |" X& o. Q& [' s `const koa =` `new` `Koa();`; c; {( x6 A7 v+ o. d4 ~; B `//中间件1`4 A( M, f$ [! c$ @' g* B% `: n `koa.use(async (ctx, next) => {` ) t" x$ N' ~9 ?5 v3 \- O( W; P `console.log(``"1 , 接收请求控制权"``);`! i: {- g( X8 g7 ^ E* v8 u `await next();` `//将控制权传给下一个中间件`/ o! V4 z9 x; L' T" Q `console.log(``"1 , 返回请求控制权"``);`3 i0 a% `- B9 H9 W `});` `//将中间件注册到koa的实例上` ' [ ~ D3 A, o$ R6 B2 ^! b7 x `//中间件2`# ]4 B# m; y% @: e7 [9 k y4 {) E9 g `koa.use(async (ctx, next) => {` " D# `: R, y* {* q+ v. v" @ `console.log(``"2 , 接收请求控制权"``);`' l* n) S; O7 m) _4 }; ~ await next();` 5 q0 N$ Z5 c5 K9 J6 x `console.log(``"2 , 返回请求控制权"``);` " K; j. w4 K6 T8 a* V `});` " B% f" z4 U! k `//中间件3` ) M8 p L$ e3 k/ L4 S8 ^ `koa.use(async (ctx, next) => {` 4 B2 d9 x/ ^2 y C' Y `console.log(``"3 , 接收请求控制权"``);`" J- `8 r- ~8 L# _8 E3 r `console.log(``"3 ,返回请求控制权"``);`, p+ d0 z% j# E$ `% m$ {' h `});`* V& d2 T/ \& i2 i# U* t, c `koa.listen(3000, ()=>{` 7 Y" ^2 X, D* l& S+ G t! _0 N# n `console.log(``"开始监听3000端口"``);`& r! g! A6 g- `3 r* S6 I8 W `});`
( l; q, t# P" C8 |, [& V" b& E1 {

注:当中间件中没有next(),不会执行下面的中间件

# C [3 R' k7 k- O; D

访问localhost:3000的效果图;

5 j( ^4 v+ a1 h- T8 M2 Z& y
+ ~; C, w! g1 l2 h1 l

注:会有两次操作是因为图标icon也会请求一次

% K8 U# ]. ~6 W5 l0 D

2.ctx参数的使用demo

( o8 h j; Q% | Q9 `
`const Koa = require(``"koa"``);`+ c; I) ?9 \7 v t `const koa =` `new` `Koa();` ; c9 |1 o1 z. x$ j9 r `koa.use(async (ctx, next)=>{` # R( @; p4 N" l1 \+ U+ | `ctx.body =` `"body可以返回数据,"``;`$ ]$ I9 @4 @& @% E+ |. j* n7 \3 s. i `ctx.body +=` `"可以多次调用,"``;`% {' ~) z# O8 E `ctx.body +=` `"不需要end()"``;` n" i, p, R0 b$ I- ?4 ^) _ `});` ( f* I" i8 o5 F4 J9 z `koa.listen(3000, ()=>{` 4 r+ z, v" m# r( x' C* a `console.log(``"监听开始"``);`& k D% O$ ^9 r5 z `});`
, H9 u. R' z% y

效果:

* q0 }9 v2 N1 \7 J* Y5 d H# t( s3 d
% c/ X, k* K9 }. s& P+ e

ctx.url ,ctx.path ,ctx.query ,ctx.querystring ,ctx.state ,ctx.type

0 G/ j4 O3 t7 M1 @( ]: O
`const Koa = require(``"koa"``);` - x* @; F1 u; f2 C8 m: z `const koa =` `new` `Koa();` ( V8 a+ I6 J0 S* a8 y: } `koa.use(async (ctx, next)=>{` 6 s1 t4 S4 `9 z9 c+ P( w `ctx.body = ctx.url;`, ^6 o0 B3 y6 b$ X5 O `ctx.body = ctx.path;`( L$ f+ Q9 T4 E2 Y `ctx.body = ctx.query;` 4 {) V' x$ n$ q5 Y. b" y& D `ctx.body = ctx.querystring;`0 V8 @& P6 X* b `});` 3 j$ B7 H7 M* ?' k/ ~* M `koa.listen(3000, ()=>{`9 y @' m& j9 O5 ^0 ]. I `console.log(``"监听开始"``);` / C" d( D" @7 @- _ `});`
! @ R7 q9 I9 s% D! S4 V

访问http://localhost:3000/path?name=sjl&age=18为例,效果图:

+ F$ m) Y9 r/ f; G w

1. url: 整个路径

9 I7 b* ^( v+ r& l. O& j! n
& ~9 o" C% a. S& H: g

2. path: 非查询部分

6 g" U4 `: J# i, O
9 j, a; b6 m# m/ O

3. query: 将查询部分转为JSON对象

0 l! A! q! X2 p, R2 ]( W
4 k$ N. C+ r M3 e) l3 S

4. querystring: 将查询部分转为字符串

8 |4 J& [$ f) f
; V# G; k2 y4 a& j

5. ctx.state ,ctx.type 表示状态吗和类型

; u4 l/ Z5 D; W$ L) e

2.简单爬虫练习

# R) ?1 f# F( z' D6 E( z

安装request,cheerio模块

/ ~2 N. Q! m/ X3 F% ?2 @
`npm i -S request: 请求模块`( w/ c4 X n7 J; R! g( h0 h `npm i -S cheerio: 抓取页面模块(JQ核心)`
# R6 G$ i M E7 [7 f

抓取网页数据案例(随机网页)

' w% g; v+ Z, R; j) D* B$ F: Z7 p0 p
`//导入模块`2 k) c }: S& M! b; L `const request = require(``"superagent"``);` `//导入请求模块` a& c1 l9 L1 j0 C2 z+ J9 ? `const cheerio = require(``"cheerio"``);` + G) [+ `8 E# V) C5 D( S, W& i `const {join} = require(``"path"``);` 5 D6 f( K: ]8 A `const fs = require(``"fs"``);` F8 }4 \8 \! s; R `let arr = [],` `//存放数据`0 t+ ]" M1 H5 _2 B- [% o; T& }' X `reg = /\n|\s+/g,` `//replace中使用` & _2 K: s; ?" O+ C, ~5 o$ L" k `url =` `"[https://www.shiguangkey.com/course/search?key=%E5%89%8D%E7%AB%AF/](https://www.shiguangkey.com/course/search?key=%E5%89%8D%E7%AB%AF/)"``;` ) I9 _" q) D" k `request`% d2 L- q" D. H$ o% X$ ^; B `.get(url)` ! A5 c& Y k! Q& R2 d2 s `.end((err, res) => {`( k4 ^/ c: }- [ `const $ = cheerio.load(res.text);` `//把字符串内的标签当成dom来使用` ( b5 E& O6 ^- A, z `$(``".course-item"``).each((i, v) => {`" W A0 s9 F7 B. f2 Q+ Q* Y `// v当前进来的dom,根据网页的布局结构来找到准确的dom节点`: U1 `+ k. a9 d$ e6 r- X `const obj = {` / j p+ l6 p1 M5 e( T$ ^7 m `imgSrc : $(v).find(``"img"``).prop(``"src"``),` + W g8 x3 B4 j0 c% R/ v `price : $(v).find(``".fr span"``).text().replace(reg,` `""``),`- u/ G- w8 R0 o1 |! P& Q @; R `total : $(v).find(``".item-txt"``).text().replace(reg,` `""``),`/ y' `/ R) I6 N1 O `href : join(url + $(v).find(``".cimg"``).prop(``"href"``))`: K, f# }5 Z. |0 F- E# ~0 e& A `};` % n+ p# v2 N5 O `console.log(join(url + $(v).find(``".cimg"``).prop(``"href"``)));` `//拼接` * w! ]# `. B; O' k# [ `arr.push(obj);` `//把对象放进数组里`& Q5 B( x M5 h/ v( M9 V `});` : A$ A/ U9 [: p4 f6 {1 e9 z `fs.writeFile(``"./sjl.json"``, JSON.stringify(arr));` `//将爬到的数据写入文档中`: o+ h# C7 ^0 x6 |# m `});`
- G- G5 v7 S. T+ ~) Q U

以上就是本文的全部内容,希望对大家的学习有所帮助

* J. H% `- {! ~% s. [. ` ( `& ?2 ?/ n( E. T% g. d- ? & E" M/ u4 D0 R' Z - {. ~# Z3 x* c 0 c& C3 X# H6 o( {3 Q* f% M
回复

举报 使用道具

相关帖子

全部回帖
暂无回帖,快来参与回复吧
懒得打字?点击右侧快捷回复 【吾爱海洋论坛发文有奖】
您需要登录后才可以回帖 登录 | 立即注册
邢雷
活跃在2026-4-7
快速回复 返回顶部 返回列表