使用Python在Databricks中的另一个笔记本中动态创建笔记本

更新时间:2023-04-02 11:59:14

问题阐述

我正在尝试在另一个笔记本中创建一个笔记本,创建的笔记本应该同时包含Python代码和SQL代码(使用%SQL,%python)。创建后,我需要从父笔记本运行创建的笔记本。有没有人能建议更好的方法来完成此操作。

我找到了类似dbutils.note book.run()的东西,它将帮助我运行已有的笔记本,但正在寻找一种方法,先创建一个笔记本,然后再运行它。任何建议都是值得理解的!!

精准答案

可以使用Databricks Workspace REST APIimport命令。

如下所示(将笔记本内容放入content值):

import requests
import os
import json
import base64

ctx = json.loads(dbutils.notebook.entry_point.getDbutils().notebook().getContext().toJson())
host_name = ctx['extraContext']['api_url']
host_token = ctx['extraContext']['api_token']
notebook_path = ctx['extraContext']['notebook_path']
new_path = os.path.join(os.path.dirname(notebook_path), 'New name')

content = "some code"

data = {
  "content": base64.b64encode(content.encode("utf-8")).decode('ascii'),
  "path": new_path,
  "language": "PYTHON",
  "overwrite": True,
  "format": "SOURCE"
}

response = requests.post(
    '{host_name}/api/2.0/workspace/import',
    headers={'Authorization': f'Bearer {host_token}'},
    json = data
  ).json()