Join GitHub today
GitHub is home to over 50 million developers working together to host and review code, manage projects, and build software together.
Sign updss 0.5与azkaban 2.5对接问题列表 #11
Comments
Add documents about Linkis
GitHub is home to over 50 million developers working together to host and review code, manage projects, and build software together.
Sign upAdd documents about Linkis
安装linkis jobtypes
按照官方安装文档进行自动化安装,执行sh install.sh最后一步报错:{"error":"Missing required parameter 'execid'."}。并没有看到文档中所说的“如果安装成功最后会打印:
{"status":"success"}”,但是能在azkaban的/plugins/jobtypes目录下看到已经安装好的linkis任务插件。通过排查在安装脚本最后一步会去调用"curl http://azkaban_ip:executor_port/executor?action=reloadJobTypePlugins"进行插件的刷新。重启azkaban executor日志中看到已经加载了插件的信息INFO [JobTypeManager][Azkaban] Loaded jobtype linkis com.webank.wedatasphere.dss.plugins.azkaban.linkis.jobtype.AzkabanDssJobType。当时没有排查到相应的问题于是跳过。当发布linkis任务到azkaban执行成功之后反过来复盘这个问题的时候,这确定应该是个误报信息。从dss发布project到azkaban
问题描述:日志报错azkaban不存在当前用户
问题排查:确认报用户不存在的用户是能正常访问的azkaban的,异常堆栈日志被捕获了没有太多日志。于是本地远程调试发现在AzkabanSecurityService#getSession方法执行
httpClient.execute(httpPost, context)时直接报错了。我们的azkaban开启了https当前登录的接口不支持https,临时的解决方案是关闭了azkaban的https。问题2的衍生
解决完第一个问题之后还是不能发布任务,但是
response = httpClient.execute(httpPost, context);reponse返回的信息已经是变为“incorrect login”。最后排查发现是把azkaban的登录请求中的password写成了userpwd,改了重新打包验证通过。
任务发布成功但执行失败
问题描述:
排查之后发现是没拿到提交用户,获取提交用户用的是
这个参数经过3.8版本的azkaban和2.5版本的对比发现2.5没有这个参数
解决方案:临时解决方案是把azkaban.flow.submituser和user.to.proxy 这两个参数写死打包替换,用于流程测试
另外一种方案就是编译3.8版本然后重新安装部署azkaban