
Rajinder Singh
Deep Learning Researcher
Published May 25, 2023
Updated May 25, 2023 ┬╖ min read

рд╡реЗрдм рд╕реНрдХреНрд░реИрдкрд┐рдВрдЧ, рдЬрд┐рд╕реЗ рд╡реЗрдм рдбреЗрдЯрд╛ рдПрдХреНрд╕рдЯреНрд░реИрдХреНрд╢рди рднреА рдХрд╣рд╛ рдЬрд╛рддрд╛ рд╣реИ, рд╡реЗрдмрд╕рд╛рдЗрдЯ рд╕реЗ рдбреЗрдЯрд╛ рдкреНрд░рд╛рдкреНрдд рдХрд░рдиреЗ рдпрд╛ тАЬрд╕реНрдХреНрд░реИрдктАЭ рдХрд░рдиреЗ рдХреА рдкреНрд░рдХреНрд░рд┐рдпрд╛ рд╣реИред рдореИрдиреНрдпреБрдЕрд▓ рд░реВрдк рд╕реЗ рдбреЗрдЯрд╛ рдирд┐рдХрд╛рд▓рдиреЗ рдХреА рдЙрдмрд╛рдК рдФрд░ рд╕рдордп рд▓реЗрдиреЗ рд╡рд╛рд▓реА рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЗ рд╡рд┐рдкрд░реАрдд, рд╡реЗрдм рд╕реНрдХреНрд░реИрдкрд┐рдВрдЧ рдмреБрджреНрдзрд┐рдорд╛рди рдСрдЯреЛрдореЗрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЗрдВрдЯрд░рдиреЗрдЯ рд╕реЗ рд╕реИрдХрдбрд╝реЛрдВ, рд▓рд╛рдЦреЛрдВ,чФЪшЗ│ рдЕрд░рдмреЛрдВ рдбреЗрдЯрд╛ рдкреЙрдЗрдВрдЯреНрд╕ рдПрдХрддреНрд░ рдХрд░ рд╕рдХрддреА рд╣реИред
рдЗрдВрдЯрд░рдиреЗрдЯ рдкрд░ рдбреЗрдЯрд╛ рдХреА рдорд╛рддреНрд░рд╛ рддреЗрдЬреА рд╕реЗ рдмрдврд╝ рд░рд╣реА рд╣реИред рд╡рд░реНрддрдорд╛рди рдореЗрдВ 1.7 рдЕрд░рдм рд╕реЗ рдЕрдзрд┐рдХ рд╡реЗрдмрд╕рд╛рдЗрдЯреЗрдВ рдСрдирд▓рд╛рдЗрди рд╣реИрдВ, рдФрд░ рд╣рд░ рджрд┐рди рдирдИ рд╡реЗрдмрд╕рд╛рдЗрдЯреЗрдВ рдмрдирд╛рдИ рдЬрд╛ рд░рд╣реА рд╣реИрдВред рдЗрддрдиреЗ рд╡рд┐рд╢рд╛рд▓ рдбреЗрдЯрд╛ рдорд╣рд╛рд╕рд╛рдЧрд░ рдореЗрдВ рд╡реНрдпрд╡рд╕рд╛рдп, рд╢реЛрдзрдХрд░реНрддрд╛ рдФрд░ рд╡реНрдпрдХреНрддрд┐рдЧрдд рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рдЖрд╡рд╢реНрдпрдХ рдЬрд╛рдирдХрд╛рд░реА рдХреИрд╕реЗ рдЦреЛрдЬреЗрдВ? рдЗрд╕рдХрд╛ рдЙрддреНрддрд░ рд╣реИтАФрд╡реЗрдм рд╕реНрдХреНрд░реИрдкрд┐рдВрдЧред
рдЗрд╕ рдЧрд╛рдЗрдб рдХрд╛ рдЙрджреНрджреЗрд╢реНрдп рдЖрдЬ рдЙрдкрд▓рдмреНрдз рд╕рдмрд╕реЗ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рд╡реЗрдм рд╕реНрдХреНрд░реИрдкрд┐рдВрдЧ рдЯреВрд▓реНрд╕ рдХрд╛ рд╡рд┐рд╕реНрддреГрдд рдЕрд╡рд▓реЛрдХрди рдкреНрд░рджрд╛рди рдХрд░рдирд╛ рд╣реИред рдХреБрдЫ рдЯреВрд▓реНрд╕ рдХреЗ рд▓рд┐рдП рддрдХрдиреАрдХреА рдЬреНрдЮрд╛рди рдЖрд╡рд╢реНрдпрдХ рд╣реИ, рдЬрдмрдХрд┐ рдЕрдиреНрдп рдЧреИрд░-рдкреНрд░реЛрдЧреНрд░рд╛рдорд░реНрд╕ рдХреЗ рд▓рд┐рдП рднреА рдЙрдкрдпреБрдХреНрдд рд╣реИрдВред рдЪрд╛рд╣реЗ рдЖрдк рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрдЯрд┐рд╕реНрдЯ рд╣реЛрдВ, рд╕реЙрдлреНрдЯрд╡реЗрдпрд░ рдбреЗрд╡рд▓рдкрд░ рд╣реЛрдВ рдпрд╛ рдбрд┐рдЬрд┐рдЯрд▓ рдорд╛рд░реНрдХреЗрдЯрд┐рдВрдЧ рд╡рд┐рд╢реЗрд╖рдЬреНрдЮтАФрдпрд╣рд╛рдБ рдЖрдкрдХреЛ рдЕрдкрдиреА рдЖрд╡рд╢реНрдпрдХрддрд╛рдУрдВ рдХреЗ рдЕрдиреБрд░реВрдк рдЯреВрд▓ рдорд┐рд▓реЗрдЧрд╛ред
рдЕрдкрдирд╛ CapSolver рдмреЛрдирд╕ рдХреЛрдб рд░рд┐рдбреАрдо рдХрд░реЗрдВ
рдЕрдкрдиреЗ рдСрдЯреЛрдореЗрд╢рди рдмрдЬрдЯ рдХреЛ рддреБрд░рдВрдд рдмрдврд╝рд╛рдПрдБ!
CapSolver рдЕрдХрд╛рдЙрдВрдЯ рдореЗрдВ рдЯреЙрдк-рдЕрдк рдХрд░рддреЗ рд╕рдордп рдмреЛрдирд╕ рдХреЛрдб CAPN рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ рдФрд░ рд╣рд░ рд░рд┐рдЪрд╛рд░реНрдЬ рдкрд░ рдЕрддрд┐рд░рд┐рдХреНрдд 5% рдмреЛрдирд╕ рдкреНрд░рд╛рдкреНрдд рдХрд░реЗрдВ тАФ рдмрд┐рдирд╛ рдХрд┐рд╕реА рд╕реАрдорд╛ рдХреЗред
рдЕрднреА рдЕрдкрдиреЗ CapSolver Dashboard рдореЗрдВ рдЗрд╕реЗ рд░рд┐рдбреАрдо рдХрд░реЗрдВред
рд╡реЗрдм рд╕реНрдХреНрд░реИрдкрд┐рдВрдЧ рдПрдХ рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рд╡рд┐рдзрд┐ рд╣реИ рдЬрд┐рд╕рдХрд╛ рдЙрдкрдпреЛрдЧ рд╡реЗрдмрд╕рд╛рдЗрдЯреЛрдВ рд╕реЗ рдмрдбрд╝реА рдорд╛рддреНрд░рд╛ рдореЗрдВ рдбреЗрдЯрд╛ рддреЗрдЬрд╝реА рд╕реЗ рдирд┐рдХрд╛рд▓рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред рд╡реЗрдмрд╕рд╛рдЗрдЯреЛрдВ рдкрд░ рдореМрдЬреВрдж рдбреЗрдЯрд╛ рдЖрдорддреМрд░ рдкрд░ рдЕрд╕рдВрд░рдЪрд┐рдд (unstructured) рд╣реЛрддрд╛ рд╣реИред рд╡реЗрдм рд╕реНрдХреНрд░реИрдкрд┐рдВрдЧ рдЗрд╕ рдбреЗрдЯрд╛ рдХреЛ рд╕рдВрд░рдЪрд┐рдд рд░реВрдк рдореЗрдВ рдкрд░рд┐рд╡рд░реНрддрд┐рдд рдХрд░рдиреЗ рдореЗрдВ рд╕рдХреНрд╖рдо рдмрдирд╛рддрд╛ рд╣реИред
рд╡реНрдпрд╡рд╕рд╛рдпреЛрдВ, рд╢рд┐рдХреНрд╖рд╛рд╡рд┐рджреЛрдВ рдФрд░ рд╡реНрдпрдХреНрддрд┐рдЧрдд рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рд╡реЗрдмрд╕рд╛рдЗрдЯ рд╕реНрдХреНрд░реИрдк рдХрд░рдиреЗ рдХреЗ рдХрдИ рдХрд╛рд░рдг рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВред рдХреБрдЫ рд╕рд╛рдорд╛рдиреНрдп рдЙрдкрдпреЛрдЧ рдЗрд╕ рдкреНрд░рдХрд╛рд░ рд╣реИрдВ:
рдореБрдЦреНрдп рд░реВрдк рд╕реЗ рд╡реЗрдм рд╕реНрдХреНрд░реИрдкрд┐рдВрдЧ рдЯреВрд▓реНрд╕ рддреАрди рдкреНрд░рдХрд╛рд░ рдХреЗ рд╣реЛрддреЗ рд╣реИрдВ:
рдиреАрдЪреЗ рдХреБрдЫ рд▓реЛрдХрдкреНрд░рд┐рдп рд╡реЗрдм рд╕реНрдХреНрд░реИрдкрд┐рдВрдЧ рдЯреВрд▓реНрд╕ рдХреА рд╡рд┐рд╕реНрддреГрдд рд╕рдореАрдХреНрд╖рд╛ рджреА рдЧрдИ рд╣реИред

Import.io рдПрдХ рд╡реЗрдм-рдЖрдзрд╛рд░рд┐рдд рдЯреВрд▓ рд╣реИ рдЬреЛ рдмрд┐рдирд╛ рдХреЛрдб рд▓рд┐рдЦреЗ рд╡реЗрдмрд╕рд╛рдЗрдЯреЛрдВ рд╕реЗ рдбреЗрдЯрд╛ рдирд┐рдХрд╛рд▓рддрд╛ рд╣реИред рдпрд╣ рд╡рд┐рдЬрд╝реБрдЕрд▓ рдЗрдВрдЯрд░рдлреЗрд╕ рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИред
Features:
Use Cases:
рдЧреИрд░-рдкреНрд░реЛрдЧреНрд░рд╛рдорд░реНрд╕ рдХреЗ рд▓рд┐рдП рдЖрджрд░реНрд╢; рдореВрд▓реНрдп рддреБрд▓рдирд╛, рд╕реЗрдВрдЯрд┐рдореЗрдВрдЯ рдПрдирд╛рд▓рд┐рд╕рд┐рд╕ рдЖрджрд┐ред

Octoparse рдПрдХ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рд╡реЗрдм рд╕реНрдХреНрд░реИрдкрд┐рдВрдЧ рдЯреВрд▓ рд╣реИ рдЬреЛ рд╡рд┐рднрд┐рдиреНрди рдкреНрд░рдХрд╛рд░ рдХреА рд╡реЗрдмрд╕рд╛рдЗрдЯреЛрдВ рд╕реЗ рдбреЗрдЯрд╛ рдирд┐рдХрд╛рд▓ рд╕рдХрддрд╛ рд╣реИред
Features:
Use Cases:
рд▓реАрдб рдЬрдирд░реЗрд╢рди, рдореВрд▓реНрдп рдирд┐рдЧрд░рд╛рдиреА, рдорд╛рд░реНрдХреЗрдЯ рд░рд┐рд╕рд░реНрдЪред

ParseHub рдПрдХ рд╡рд┐рдЬрд╝реБрдЕрд▓ рдбреЗрдЯрд╛ рдПрдХреНрд╕рдЯреНрд░реИрдХреНрд╢рди рдЯреВрд▓ рд╣реИ рдЬреЛ JavaScript рдФрд░ AJAX рд╡реЗрдмрд╕рд╛рдЗрдЯреЛрдВ рдХреЛ рднреА рд╕рдкреЛрд░реНрдЯ рдХрд░рддрд╛ рд╣реИред
Use Cases:
рдбреЗрдЯрд╛ рдЬрд░реНрдирд▓рд┐рдЬрд╝реНрдо, рдИ-рдХреЙрдорд░реНрд╕ рдЧреНрд░реЛрде, AI рдЯреНрд░реЗрдирд┐рдВрдЧ рдбреЗрдЯрд╛ред

Scrapy рдПрдХ рдУрдкрди-рд╕реЛрд░реНрд╕ Python рдлреНрд░реЗрдорд╡рд░реНрдХ рд╣реИ рдЬреЛ рдмрдбрд╝реЗ рдкреИрдорд╛рдиреЗ рдкрд░ рд╡реЗрдм рд╕реНрдХреНрд░реИрдкрд┐рдВрдЧ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
Use Cases:
рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрдЯрд┐рд╕реНрдЯреНрд╕ рдФрд░ рдбреЗрд╡рд▓рдкрд░реНрд╕ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреБрдХреНрддред

BeautifulSoup HTML рдФрд░ XML рдкрд╛рд░реНрд╕ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдПрдХ рд╕рд░рд▓ Python рд▓рд╛рдЗрдмреНрд░реЗрд░реА рд╣реИред

Selenium рдмреНрд░рд╛рдЙрдЬрд╝рд░ рдСрдЯреЛрдореЗрд╢рди рдХреЗ рд▓рд┐рдП рдПрдХ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рдЯреВрд▓ рд╣реИред

Puppeteer Chrome/Chromium рдХреЛ рдирд┐рдпрдВрддреНрд░рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП Node.js рд▓рд╛рдЗрдмреНрд░реЗрд░реА рд╣реИред

Cheerio рд╕рд░реНрд╡рд░-рд╕рд╛рдЗрдб HTML рдбреЗрдЯрд╛ рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ рдХреЗ рд▓рд┐рдП рдПрдХ рд╣рд▓реНрдХреА Node.js рд▓рд╛рдЗрдмреНрд░реЗрд░реА рд╣реИред

OutWit Hub Firefox рдРрдб-рдСрди рд╣реИ рдЬреЛ рдбреЗрдЯрд╛ рдирд┐рд╖реНрдХрд░реНрд╖рдг рдХреЛ рд╕рд░рд▓ рдмрдирд╛рддрд╛ рд╣реИред

WebHarvy рдПрдХ рд╡рд┐рдЬрд╝реБрдЕрд▓ рдбреЗрд╕реНрдХрдЯреЙрдк рд╡реЗрдм рд╕реНрдХреНрд░реИрдкрд░ рд╣реИред

Data Miner рдПрдХ рдмреНрд░рд╛рдЙрдЬрд╝рд░ рдПрдХреНрд╕рдЯреЗрдВрд╢рди рд╣реИ рдЬреЛ HTML рдбреЗрдЯрд╛ рдХреЛ рд╕рдВрд░рдЪрд┐рдд рд░реВрдк рдореЗрдВ рдмрджрд▓рддрд╛ рд╣реИред

Mozenda рдПрдХ рдПрдВрдЯрд░рдкреНрд░рд╛рдЗрдЬрд╝-рдЧреНрд░реЗрдб рд╡реЗрдм рд╕реНрдХреНрд░реИрдкрд┐рдВрдЧ рд╕реЙрдлреНрдЯрд╡реЗрдпрд░ рд╣реИред
рдЖрдЬ рдХреА рдбреЗрдЯрд╛-рдбреНрд░рд┐рд╡рди рджреБрдирд┐рдпрд╛ рдореЗрдВ рд╡реЗрдм рд╕реНрдХреНрд░реИрдкрд┐рдВрдЧ рдЯреВрд▓реНрд╕ рдЕрдирд┐рд╡рд╛рд░реНрдп рд╣реЛ рдЧрдП рд╣реИрдВред рдЧреНрд░рд╛рд╣рдХ рднрд╛рд╡рдирд╛ рд╕рдордЭрдиреЗ рд╕реЗ рд▓реЗрдХрд░ рдкреНрд░рддрд┐рд╕реНрдкрд░реНрдзреА рдирд┐рдЧрд░рд╛рдиреА рддрдХтАФрд╡реЗрдм рд╕реНрдХреНрд░реИрдкрд┐рдВрдЧ рдХреЗ рдЙрдкрдпреЛрдЧ рдЕрд╕реАрдорд┐рдд рд╣реИрдВред рд╕рд╣реА рдЯреВрд▓ рдХрд╛ рдЪрдпрди рдЖрдкрдХреА рддрдХрдиреАрдХреА рдХреНрд╖рдорддрд╛, рдХрд╛рд░реНрдп рдХреА рдЬрдЯрд┐рд▓рддрд╛ рдФрд░ рдбреЗрдЯрд╛ рдЖрд╡рд╢реНрдпрдХрддрд╛рдУрдВ рдкрд░ рдирд┐рд░реНрднрд░ рдХрд░рддрд╛ рд╣реИред
Import.io, Octoparse, ParseHub, WebHarvy рдФрд░ OutWit Hub рдЬреИрд╕реЗ рдиреЛ-рдХреЛрдб рдЯреВрд▓реНрд╕ рд╢реБрд░реБрдЖрддреА рдФрд░ рдЧреИрд░-рддрдХрдиреАрдХреА рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рд╕рдмрд╕реЗ рдЙрдкрдпреБрдХреНрдд рд╣реИрдВред
рдЬрдм рд╡реЗрдмрд╕рд╛рдЗрдЯ JavaScript рдкрд░ рдЖрдзрд╛рд░рд┐рдд рд╣реЛ, рдбрд╛рдпрдирд╛рдорд┐рдХ рдХрдВрдЯреЗрдВрдЯ рд▓реЛрдб рдХрд░рддреА рд╣реЛ рдпрд╛ рдпреВрдЬрд╝рд░ рдЗрдВрдЯрд░реИрдХреНрд╢рди рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛред
рд╡реЗрдм рд╕реНрдХреНрд░реИрдкрд┐рдВрдЧ рдЕрдкрдиреЗ рдЖрдк рдореЗрдВ рдЕрд╡реИрдз рдирд╣реАрдВ рд╣реИ, рд▓реЗрдХрд┐рди рдЗрд╕рдХреА рд╡реИрдзрддрд╛ рд╡реЗрдмрд╕рд╛рдЗрдЯ рдХреА рд╢рд░реНрддреЛрдВ, рдбреЗрдЯрд╛ рдХреЗ рдкреНрд░рдХрд╛рд░ рдФрд░ рд╕реНрдерд╛рдиреАрдп рдХрд╛рдиреВрдиреЛрдВ рдкрд░ рдирд┐рд░реНрднрд░ рдХрд░рддреА рд╣реИред рд╣рдореЗрд╢рд╛ рдЬрд┐рдореНрдореЗрджрд╛рд░реА рд╕реЗ рдФрд░ рдирд┐рдпрдореЛрдВ рдХрд╛ рдкрд╛рд▓рди рдХрд░рддреЗ рд╣реБрдП рд╕реНрдХреНрд░реИрдк рдХрд░реЗрдВред

Rajinder Singh
Deep Learning Researcher
Making CAPTCHA solving more reliable in automated workflows.
ABOUT THE AUTHOR
Learn scalable Rust web scraping architecture with reqwest, scraper, async scraping, headless browser scraping, proxy rotation, and compliant CAPTCHA handling.

Learn the best techniques to scrape job listings without getting blocked. Master Indeed scraping, Google Jobs API, and web scraping API with CapSolver.
