<em>Mac</em>Book项目 2009年学校开始实施<em>Mac</em>Book项目,所有师生配备一本<em>Mac</em>Book,并同步更新了校园无线网络。学校每周进行电脑技术更新,每月发送技术支持资料,极大改变了教学及学习方式。因此2011
2021-06-01 09:32:01
本文範例為大家分享了Java多執行緒實現第三方資料同步的具體程式碼,供大家參考,具體內容如下
最近的一項開發任務是同步第三方資料,而第三方資料一般有存量資料和增量資料,存量資料有100w+。在得知此需求時,進行了一定的資訊檢索和工具學習,提前獲取存量資料到目標庫,再使用kettle進行存量資料轉換;增量資料則根據業務方規定的請求時間,通過定時任務去獲取增量資料並進行資料轉換。在資料獲取和轉換時,我們應該要記錄每一次的請求資訊,便於溯源和資料對賬!!!
2.1 遞迴方式
使用遞迴方式時,要求資料量少,否則會出現棧溢位或堆溢位!!!並且遞迴方式是單執行緒,所以會導致同步速度很慢!!!
/** * 資料同步 - 遞迴方式 * 此處存量資料只需要請求到資料並儲存資料庫即可,後期通過kettle進行轉換。 * Data為自定義實體類,這裡僅做範例!!! */ private void fetchAndSaveDB(int pageIndex, int pageSize) throws Exception { log.info("【資料同步 - 存量】,第{}次同步,", pageIndex); List<Data> datas= getDataByPage(pageIndex,pageSize); if (CollectionUtils.isNotEmpty(datas)) { dataService.saveOrUpdateBatch(datas); log.info("【資料同步 - 存量】,第{}次同步,同步成功", pageIndex); if (datas.size() < pageSize) { log.info("【資料同步 - 存量】,第{}次同步,獲取資料小於每頁獲取條數,證明已全部同步完畢!!!", pageIndex); return; } // 遞迴操作-直到資料同步完畢 fetchAndSaveDB(pageIndex + 1, pageSize); } else { log.info("【資料同步 - 存量】,第{}次同步,獲取資料為空,證明已全部同步完畢!!!", pageIndex); return; } } /** * 獲取分頁資料,Data為自定義實體類,這裡僅做範例!!! */ private List<Data> getDataByPage(int pageIndex, int pageSize) throws Exception { //通過feign呼叫第三方介面獲取資料 String data = dataFeignService.fetchAllData(pageSize, pageIndex); JSONObject jsonObject = JSONObject.parseObject(data); JSONArray datalist = jsonObject.getJSONArray("datalist"); List<Data> datas = datalist.toJavaList(Data.class); return datas; }
2.2 多執行緒方式
由於遞迴方式是單執行緒,考慮到資料的龐大,且易造成記憶體溢位,因此將遞迴更換成多執行緒方式,不僅避免了記憶體溢位的情況,且速度大大的提升!!!
public void synAllData() { // 定義原子變數 - 頁數 AtomicInteger pageIndex = new AtomicInteger(0); // 建立執行緒池 ExecutorService fixedThreadPool = Executors.newFixedThreadPool(10); // 100萬資料 int total = 1000000;//資料總量 int times = total / 1000; if (total % 1000!= 0) { times = times + 1; } LocalDateTime beginLocalDateTime = LocalDateTime.now(); log.info("【資料同步 - 存量】開始同步時間:{}", beginLocalDateTime.format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss"))); for (int index = 1; index <= times; index++) { fixedThreadPool.submit(new Runnable() { @Override public void run() { try { multiFetchAndSaveDB(pageIndex.incrementAndGet(), 1000); } catch (Exception e) { log.error("並行獲取並儲存資料異常:{}", e); } } }); } LocalDateTime endLocalDateTime = LocalDateTime.now(); log.info("【資料同步 - 存量】同步結束時間:{},總共耗時:{}分鐘", endLocalDateTime.format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss")), Duration.between(beginLocalDateTime, endLocalDateTime).toMinutes()); } /** * 資料同步 - 【多執行緒方式】 * * @throws Exception */ private void multiFetchAndSaveDB(int pageIndex, int pageSize) throws Exception { log.info("【資料同步 - 存量】,第{}次同步,", pageIndex); List<Data> datas= getDataByPage(pageIndex, pageSize);//getDataByPage()同上2.1 if (CollectionUtils.isNotEmpty(datas)) { log.info("【資料同步 - 存量】,第{}次同步,同步成功", pageIndex); if (datas.size() < pageSize) { log.info("【資料同步 - 存量】,第{}次同步,獲取資料小於每頁獲取條數,證明已全部同步完畢!!!", pageIndex); return; } } else { log.info("【資料同步 - 存量】,第{}次同步,獲取資料為空,證明已全部同步完畢!!!", pageIndex); return; } }
增量資料需要寫定時任務,可使用Scheduled註解,並需要將增量資料存放到目標庫中且進行資料轉換!!!此處就不再提供程式碼,可以參考上面的存量資料的方式編寫!!!
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援it145.com。
相關文章
<em>Mac</em>Book项目 2009年学校开始实施<em>Mac</em>Book项目,所有师生配备一本<em>Mac</em>Book,并同步更新了校园无线网络。学校每周进行电脑技术更新,每月发送技术支持资料,极大改变了教学及学习方式。因此2011
2021-06-01 09:32:01
综合看Anker超能充系列的性价比很高,并且与不仅和iPhone12/苹果<em>Mac</em>Book很配,而且适合多设备充电需求的日常使用或差旅场景,不管是安卓还是Switch同样也能用得上它,希望这次分享能给准备购入充电器的小伙伴们有所
2021-06-01 09:31:42
除了L4WUDU与吴亦凡已经多次共事,成为了明面上的厂牌成员,吴亦凡还曾带领20XXCLUB全队参加2020年的一场音乐节,这也是20XXCLUB首次全员合照,王嗣尧Turbo、陈彦希Regi、<em>Mac</em> Ova Seas、林渝植等人全部出场。然而让
2021-06-01 09:31:34
目前应用IPFS的机构:1 谷歌<em>浏览器</em>支持IPFS分布式协议 2 万维网 (历史档案博物馆)数据库 3 火狐<em>浏览器</em>支持 IPFS分布式协议 4 EOS 等数字货币数据存储 5 美国国会图书馆,历史资料永久保存在 IPFS 6 加
2021-06-01 09:31:24
开拓者的车机是兼容苹果和<em>安卓</em>,虽然我不怎么用,但确实兼顾了我家人的很多需求:副驾的门板还配有解锁开关,有的时候老婆开车,下车的时候偶尔会忘记解锁,我在副驾驶可以自己开门:第二排设计很好,不仅配置了一个很大的
2021-06-01 09:30:48
不仅是<em>安卓</em>手机,苹果手机的降价力度也是前所未有了,iPhone12也“跳水价”了,发布价是6799元,如今已经跌至5308元,降价幅度超过1400元,最新定价确认了。iPhone12是苹果首款5G手机,同时也是全球首款5nm芯片的智能机,它
2021-06-01 09:30:45