先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7
深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年最新网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上网络安全知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
如果你需要这些资料，可以添加V获取：vip204888 （备注网络安全）
正文
所谓的自动化程序，就是用机器大批量地发起请求，拿到响应后再做处理。专业术语叫做网页爬虫或者网页机器人。
模拟请求（基于代码或爬虫框架）
此方案需要我们至少熟悉一门编程语言（Python、Node.js、Java等），自行编写代码或者借助优秀的开源爬虫框架，实现数据获取。某些场景，还需要通过抓包分析目标网站的参数规则，然后通过组合式请求方能达到目的。
这里罗列下我用过或收藏且还在不断更新维护的框架：
名称开发语言简介ScrapyPythonA fast high-level web crawling & scraping framework for Python.PyspiderPythonA Powerful Spider(Web Crawler) System in Python.NutchJava一种高度可扩展、可伸缩的开源 Web 爬虫软件项目。功能强大，支持 Hadoop 集群内运行webmagicJava一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。真的非常简单Spiderman2Java开源Web数据抽取工具，我没实际使用过node-crawlerNode.jsWeb Crawler/Spider for NodeJS + server-side jQuery
开发者工具 F12 ️
首先访问目标网站，按需进行登录，然后按下键盘 F12（或者 Ctrl+Shift+I）进入开发者工具，可以在控制台中写或贴入 JS 脚本，回车收尾。
这是我常用的一种方式，用户验证脚本跟少规模作业。
自动化测试工具（Selenium/Puppeteer/Playwright）
WEB 自动化测试工具，是指通过程序代替人工完成验证 WEB 功能的过程。当然，也能利用它来抓取数据。这类工具通过驱动程序（webdriver、DevTools Protocol），驱使浏览器执行既定的动作/脚本。
Selenium：老牌大哥，我最开始接触的自动化测试工具，支持 Chrome、Edge、Firefox、IE、Safari 等浏览器，对开发语言支持也很广：Java、Python、C#、Ruby、JavaScriptPuppeteer： Chrome 开发团队在 2017 年发布的一个 Node.js 包，用来模拟 Chrome 浏览器的运行。主打对 Chrome 的良好支持，社区有针对 Java、Python 版本。Playwright：微软大厂出品，浏览器支持 Chrome、Edge、Firefox、Safari，官方提供 Java、Python、Node.js、C# 编程语言的 SDK。
Electron / Traui
这两个软件跟上一节工具基本一致，之所以单独列出来，是因为它们提供了更丰富的接口，既能控制浏览器完成任务，又可以制作 GUI 界面（可用于与爬虫程序交互）。
2019年那会，我用闲余时间基于 Electron 做了个小玩具：
浏览器扩展（插件）
官方应该叫做浏览器扩展（Extensions），但是我们习惯叫做插件，后续文章我将重点以此方式进行实践。
浏览器扩展（插件）是运行在特定浏览器，遵循相关规范的应用程序包，由 JS、CSS、HTML 组成，能够管理标签页、注入代码、操作DOM、监控页面活动等。
插件功能非常强大，具体的文档详见Chrome Extensions Document。不过有一个小遗憾是不能在插件内打开标签页的开发者工具，官方给出的回答是出于安全考虑。
有大佬做的强大插件webscraper插件（本地使用免费）。
小结
我们在做数据采集时，可以根据实际情况灵活选择方案。不过，无论是何种方式，都要随着目标网站的更新迭代，做相应的适配，否则会出现程序无效的情况，而这是一个耗时耗力的过程。
另外，部分网站会对自动化测试工具进行检测，可以参考：bot.sannysoft.com/，正常浏览器会看到如下的结果图。
拦路虎隣
拦路虎之 IP 限制
当 ip 被限制，就无法正常访问网站或服务。我们的请求很可能被防火墙、网关、WAF（Web 应用防护系统）等前置设备、应用拦截，压根没有到藏在后面的网站。常用应对方式是更换终端IP，比如用代理。
拦路虎之验证码
验证码就是用来拦截爬虫程序的，常见有字符图片验证码（数字+字母+中文，再来点干扰线跟字符变形，增加识别成本），也会有逻辑交互类，以及手机/邮箱接收验证码。 现代验证码越来越先进（下图是网易网盾首页列出来的常见类型），即使对正常用户也是很艰难才能完成验证。 这里不得不提一下谷歌「我不是机器人」的验证：reCAPTCHA ，没少被它蹂躏藍。但是关于 reCAPTCHA 又有一个让我觉得非常惊艳的故事，是关于如何把人类纸质书数字化的，当时靠人工、机器字符识别的效率、效果都不行，于是该公司（后来被谷歌收购）想到把书籍扫描件分割为无数个小图，显示为验证码，让用户进行识别，然后得到最多的结果作为纸质书内容的数字字符（会有算法的参与），具体的看这篇文章：你以为自己在填验证码，其实你是在给Google义务劳动。
本人从事网路安全工作12年，曾在2个大厂工作过，安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过，对这个行业了解比较全面。
最近遍览了各种网络安全类的文章，内容参差不齐，其中不伐有大佬倾力教学，也有各种不良机构浑水摸鱼，在收到几条私信，发现大家对一套完整的系统的网络安全从学习路线到学习资料，甚至是工具有着不小的需求。
最后，我将这部分内容融会贯通成了一套282G的网络安全资料包，所有类目条理清晰，知识点层层递进，需要的小伙伴可以点击下方小卡片领取哦！下面就开始进入正题，如何从一个萌新一步一步进入网络安全行业。
学习路线图
其中最为瞩目也是最为基础的就是网络安全学习路线图，这里我给大家分享一份打磨了3个月，已经更新到4.0版本的网络安全学习路线图。
相比起繁琐的文字，还是生动的视频教程更加适合零基础的同学们学习，这里也是整理了一份与上述学习路线一一对应的网络安全视频教程。
网络安全工具箱
当然，当你入门之后，仅仅是视频教程已经不能满足你的需求了，你肯定需要学习各种工具的使用以及大量的实战项目，这里也分享一份我自己整理的网络安全入门工具以及使用教程和实战。
项目实战
最后就是项目实战，这里带来的是SRC资料&HW资料，毕竟实战是检验真理的唯一标准嘛~
面试题
归根结底，我们的最终目的都是为了就业，所以这份结合了多位朋友的亲身经验打磨的面试题合集你绝对不能错过！
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注网络安全）
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
资料的朋友，可以添加V获取：vip204888 （备注网络安全）** [外链图片转存中…(img-YdScZDgy-1713308615317)]
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
相关链接
发表评论