柚子快报激活码778899分享：开发语言 JAVA实现问财爬虫

柚子快报激活码778899分享：开发语言 JAVA实现问财爬虫

http://yzkb.51969.com/

通过 RestTemplate 将查询语句申请发送至问财，实现同花顺问财的爬虫获取数据，例子中实现了将爬取的数据写入excel文件并染成红色，可将其改造放入数据库中.

通过测试发现爬虫自动能访问一百多次左右，会被官方识别为爬虫，解决办法为用浏览器打开问财，验证下图形验证码（因为问财nginx是通过识别ip访问的，短期内同一个ip访问太频繁会被识别出来）

爬取的网站地址为 http://www.iwencai.com/customized/chart/get-robot-data ，爬取过程中会发送请求头和消息体，消息头包含session，这部分是分析网站之后，抽取的js保存到本地，到本地进行运行，得到session后保存在请求头里面进行请求。

文章给出了部分代码，完整代码请移步链接Java爬虫实现访问问财数据并处理

需要用到的maven依赖

org.openjdk.nashorn

nashorn-core

15.3

cn.hutool

hutool-all

5.8.11

部分java代码

import cn.hutool.core.date.DatePattern;

import cn.hutool.core.date.DateTime;

import cn.hutool.core.date.DateUtil;

import cn.hutool.core.io.FileUtil;

import cn.hutool.core.map.MapUtil;

import cn.hutool.core.swing.DesktopUtil;

import cn.hutool.core.util.StrUtil;

import cn.hutool.json.JSONArray;

import cn.hutool.json.JSONObject;

import cn.hutool.json.JSONUtil;

import cn.hutool.poi.excel.ExcelReader;

import cn.hutool.poi.excel.ExcelUtil;

import cn.hutool.poi.excel.ExcelWriter;

import com.lhk.datasql.util.MyUtil;

import org.apache.poi.ss.usermodel.*;

import org.springframework.http.HttpEntity;

import org.springframework.http.ResponseEntity;

import org.springframework.util.LinkedMultiValueMap;

import org.springframework.web.client.RestTemplate;

import javax.script.Invocable;

import javax.script.ScriptEngine;

import javax.script.ScriptEngineManager;

import java.io.File;

import java.nio.charset.Charset;

import java.util.*;

import java.util.concurrent.atomic.AtomicInteger;

import java.util.stream.IntStream;

/**

* 问财爬虫实现

*/

public class WCTool {

private static String WC_ROBOT = "http://www.iwencai.com/customized/chart/get-robot-data";

private static File file = FileUtil.file(MyUtil.DESKTOP_PREFIX + "市场情绪.xlsx");

private static String[] NumToStr = new String[]{"一", "二", "三", "四", "五", "六", "七", "八", "九", "十", "十一", "十二"};

private static AtomicInteger maxHarden = new AtomicInteger(0);

private static RestTemplate restTemplate = new RestTemplate();

public static void main(String[] args) {

//List dateSubList = MyUtil.getDateSubList("2023-05-30", "2023-06-15");

//for (DateTime dateTime : dateSubList) {

// if (HolidayUtils.isWorkDay(dateTime) && !DateUtil.isWeekend(dateTime)) {

// String question = "非ST " + DateUtil.format(dateTime, DatePattern.CHINESE_DATE_PATTERN);

// writeExcelSheet1(question, dateTime);

// writeExcelSheet2(question, dateTime);

// }

//}

String question = "非ST 今日";

writeExcelSheet1(question, DateUtil.date());

writeExcelSheet2(question, DateUtil.date());

DesktopUtil.open(file);

//JSONArray datas = getDatas(question + "1板 概念");

//Map res = new HashMap<>();

//for (int i = 0; i < datas.size(); i++) {

// String gls = StrUtil.nullToEmpty(datas.get(i, JSONObject.class).get("所属概念", String.class));

// for (String s : gls.split(";")) {

// res.put(s, res.containsKey(s) ? res.get(s) + 1 : 1);

// }

//}

//System.out.println(datas);

}

private static void writeExcelSheet1(String question, DateTime date) {

ExcelReader reader = ExcelUtil.getReader(file, "表格");

List