1. WebRTC音视频能力sdk封装(Web端+微信小程序端)

• 项目介绍:

  1. 组内负责公司在线庭审业务方面, 由于公司底层音视频能力的欠缺, 主要通过与各大厂商(华为, 海康等)对接音视频能力. 为解决该问题, 该项目通过自研WebRTC相关底层能力,为组内提供相关音视频对接能力, 解决公司在音视频底层能力方面的欠缺;

  2. 该sdk涉及到PC端和微信小程序端两端, sdk提供了多种能力: 多人音视频推拉流, 屏幕分享, 虚拟背景, 语音激励, 人脸马赛克, 人体行为检测等。

• 主要涉及技术:

  1. 封装WebRTC相关底层能力;

  2. 使用机器学习大模型进行人物处理, 实现虚拟背景, 人脸马赛克, 人体行为检测等;

  3. 使用Node.js(Koa)作为信令层, sdk通过socket.io实现与信令层的交互;

  4. 使用rollup进行打包输出相关sdk文件, 手写加密插件进行加密sdk内容。

• 项目责任: 1. sdk项目负责人, 负责sdk脚手架的搭建以及信令层Node.js项目的搭建;

  2. 针对业务的需要, 独自开发所有对应的sdk底层能力以及参与部分信令层的开发;

  3. 后续sdk的维护与更新以及sdk说明文档的撰写。

• 项目成果: 线上应用效果较好, 实现了公司在音视频底层能力的从0到1, 大大降低了产品推广的成本，增大了公司产品的收益。

2. 多人在线庭审(Web端+后台管理系统+微信小程序端)

• 项目介绍:

  1. 该项目是组内的主要产品, 主要围绕法官端, 当事人端, 书记员端等多端线上庭审(多人音视频会议)的功能;

  2. 功能主要涉及到: 多人音视频会议, 多端扫码签名, 聊天室, 在线文档编辑, 多人协同白板, 大文件上传, 国际化, html转pdf/图片, 以及对接AI等;

  3. 在Web端的基础上集成Electron, 实现桌面端应用;

• 主要涉及技术: 1. Web端采用: Vue2全家桶, Vite, i18n, Electron等, 小程序端采用uniapp及原生微信小程序开发;

  2. 多端扫码及手写签名: 采用第三方库集成扫码, 使用canvas进行手写签名;

  3. 聊天室及多人协同白板: 使用websocket实现多人在线聊天, 封装多人协同白板插件;

  4. 大文件上传: 使用队列及分片方式进行大文件上传;

  5. 使用i8n进行国际化, 实现中,英,阿语切换; 集成Electron, 实现桌面端;

  6. 对接公司其他组内的AI能力, 实现AI辅助达到庭审智能化水准。

• 项目责任:

  1. 负责组内项目脚手架的搭建, 开发通用脚手架工具, 实现cli工具进行项目模板的统一管理;

  2. 负责产品中的多人音视频功能集成, 多人协同白板, 大文件上传, 国际化, html转pdf/图片, 集成Electron等各种功能的开发;

  3. 负责产品的疑难点解决, 以及项目的维护与迭代更新;

  4. 封装产品中所需的通用组件以及业务组件, 负责解决组内其他员工在前端开发中的疑难杂症问题;

3. 其他项目

• 涉及到H5, 后台管理系统, 可视化大屏等

• 涉及到的技术栈: Vue2, Vue3, React Hooks, Scss/Less, Webpack, Vite等