Name: 生物医学出版物中基于云的短语挖掘与用户定义短语类协会的分析 (视频) | JoVE Journal
Uploaded: 2019-02-23T14:00:00.000+00:00
Duration: 9 min 20 s
Description: 学习构建基于云的短语挖掘平台，用于分析生物医学出版物中的蛋白质、基因组或化学物质与特定疾病的关联。该方法通过自动化实体类别关联评估，显著提高研究效率。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本工作部分得到了美国国家心肺血液研究所：R35 HL135772（资助对象：P. Ping）；美国国家普通医学科学研究所：U54 GM114833（资助对象：P. Ping、K. Watson 和 W. Wang）；U54 GM114838（资助对象：J. Han）；Hellen &amp;#38; Larry Hoag 基金会和 S. Setty 博士的捐赠；以及加州大学洛杉矶分校 T.C. Laubisch 基金（资助对象：P. Ping）的支持。

注意：本实验方案基于 Python 编程语言开发。运行该程序前，请预先在设备上安装 Anaconda Python 和 Git。本方案中提供的命令基于 Unix 环境。本方案详细说明了如何从 PubMed（MEDLINE）数据库下载数据、解析数据，并搭建云计算平台，用于短语挖掘及用户自定义实体-类别关联的量化分析。
1. 获取代码和 Python 环境配置
<ol>
	<li>从 GitHub 下载或克隆代码仓库（<a href="https://github.com/CaseOLAP/caseolap.git">https://github.com/CaseOLAP/caseolap</a>）或通过键入‘git clone <a href="https://github.com/CaseOLAP/caseolap.git">https://github.com/CaseOLAP/caseolap.git</a>终端窗口中。</li>
	<li>导航至“caseolap”目录。这是项目的根目录。在执行本方案步骤的过程中，该目录下的“data”目录将被填充多个数据集。“input”目录用于存放用户提供的数据。“log”目录包含用于故障排查的日志文件。“result”目录用于存储最终结果。</li>
	<li>使用终端窗口，进入你克隆我们 GitHub 仓库的目录。使用‘environment.yml’ 文件，通过输入 ‘conda env create -f environment.yaml 在终端中. 然后通过输入‘source activate caseolap’ 在终端中。</li>
</ol>
2. 下载文档
<ol>
	<li>确保 config 目录中的“ftp_configuration.json”文件内的 FTP 地址与以下链接中提供的年度基线文件或每日更新文件的链接地址一致：<a href="https://www.nlm.nih.gov/databases/download/pubmed_medline.html">https://www.nlm.nih.gov/databases/download/pubmed_medline.html</a>。</li>
	<li>若仅需下载基线文件或仅下载更新文件，请在 config 目录下的“download_config.json”文件中将相应选项设置为“true”。默认情况下，程序会同时下载并解压基线文件和更新文件。解压后的 XML 数据示例可在此处查看：<a href="https://github.com/CaseOLAP/caseolap-pipelines/blob/master/data/extracted-data-sample.xml">https://github.com/CaseOLAP/caseolap-pipelines/blob/master/data/extracted-data-sample.xml</a>。</li>
	<li>在终端窗口中输入“python run_download.py”以从 PubMed 数据库下载摘要。此操作将在当前目录下创建一个名为“ftp.ncbi.nlm.nih.gov”的目录。该过程将检查所下载数据的完整性，并将其解压至目标目录。</li>
	<li>若下载过程失败，请进入“log”目录，查看“download_log.txt”中的日志信息。若下载成功完成，下载过程的调试信息将被记录在此日志文件中。</li>
	<li>下载完成后，请浏览“ftp.ncbi.nlm.nih.gov”目录，确认其中包含“updatefiles”或“basefiles”或两者皆有，具体取决于“download_config.json”中的下载配置。文件统计信息将保存在“data”目录下的“filestat.txt”文件中。</li>
</ol>
3. 解析文档
<ol>
	<li>确保在步骤2中下载并解压的数据位于‘ftp.ncbi.nlm.nih.gov’目录下。该目录在本步骤中作为输入数据目录。</li>
	<li>要修改数据解析模式，请在“parsing_config.json在“config”目录下的文件中，将相应值设置为“true”。默认情况下，它会解析 PMID、作者、摘要、医学主题词（MeSH）、地址、期刊、出版日期</li>
	<li>类型‘python run_parsing.py在终端中输入“”以从已下载（或已解压）的文件中解析文档。此步骤将解析所有已下载的 XML 文件，并为每个文档创建一个 Python 字典，其中包含键（例如., PMID, 作者, 摘要, MeSH 根据第3.2步中解析模式的设置生成文件。</li>
	<li>数据解析完成后，确保将解析后的数据保存到名为‘pubmed.json“数据目录”中的。已解析数据的示例如下所示： 图3.</li>
	<li>转到“log”目录以查看其中的 log 消息parsing_log.txt若解析过程失败，则会显示“”。如果过程成功完成，调试信息将被打印到日志文件中。</li>
</ol>
4. 主题词到 PMID 的映射
<ol>
	<li>确保解析后的数据（“pubmed.json”）位于“data”目录中。</li>
	<li>在终端中输入“python run_mesh2pmid.py”以执行MeSH到PMID的映射。此操作将创建一个映射表，其中每个MeSH术语收集其关联的PMID。单个PMID可能属于多个MeSH术语。</li>
	<li>映射完成后，请确认“data”目录中存在“mesh2pmid.json”文件。前20项映射统计的示例见表-2、图4和5。</li>
	<li>若该过程失败，请进入“log”目录查看“mesh2pmid_mapping_log.txt”中的日志信息。若过程成功完成，映射的调试信息将输出至该日志文件中。</li>
</ol>
5. 文档索引
<ol>
	<li>从 Elasticsearch 官网下载应用程序 <a href="https://www.elastic.co/downloads">https://www.elastic.co</a>目前，下载可在此处获取 (<a href="https://www.elastic.co/downloads/elasticsearch">https://www.elastic.co/downloads/elasticsearch</a>）。要下载远程云中的软件，请输入‘wget <a href="https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-x.x.x.tar.gz">https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-x.x.x.tar.gz</a>’ 在终端中。确保‘x.x.x上述命令中的“’”应替换为正确的版本号。</li>
	<li>确保下载的‘elasticsearch-x.x.x.tar.gz’ 文件出现在根目录中，则通过输入‘tar xvzf elasticsearch-x.x.x.tar.gz 在终端窗口中。</li>
	<li>打开一个新终端，通过输入“cd Elasticsearch/bin在终端中从根目录执行。</li>
	<li>在终端窗口中输入“./Elasticsearch”以启动Elasticsearch服务器。确保服务器启动过程中无错误信息。若启动Elasticsearch服务器时出现错误，请按照以下说明操作： (<a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html">https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html</a>).</li>
	<li>修改“index_init_config.json在“config”目录中的“’设置索引初始化。默认情况下，将选择所有存在的项目。</li>
	<li>类型 ‘python run_index_init.py在终端中输入“’以在Elasticsearch服务器中启动索引数据库。这将使用一组称为索引信息的标准来初始化索引（例如， 索引名称，类型名称，分片数量，副本数量）。您将看到提示信息，表明索引已成功创建。</li>
	<li>选择“index_populate_config.json在“config”目录中，通过将其值设置为“true”来选择所有项目。默认情况下，将选中所有存在的项目。</li>
	<li>确保已解析的数据（'pubmed.json'）存在于'data'目录中。</li>
	<li>类型 ‘python run_index_populate.py在终端中输入“’以通过创建包含两个组件的批量数据来填充索引。第一个组件是包含元数据信息的字典 索引名称，类型名称， 和 批量编号 例如， PMID). A 第二个组成部分是包含所有标签信息的数据字典（例如 标题，摘要，医学主题词). </li>
	<li>转到“log”目录以查看其中的 log 消息indexing_log.txt如果此过程失败，请重试。如果过程成功完成，索引的调试信息将被打印到日志文件中。</li>
</ol>
6. 文本立方体的创建
<ol>
	<li>下载最新版可在以下网址获取的MeSH树：(<a href="https://www.nlm.nih.gov/mesh/filelist.html">https://www.nlm.nih.gov/mesh/filelist.html</a>）。当前代码版本在输入目录中使用2018年版MeSH树文件“meshtree2018.bin”。</li>
	<li>定义感兴趣的类别（例如，疾病名称、年龄组、性别）。一个类别可包含一个或多个MeSH描述符。<a href="https://meshb-prev.nlm.nih.gov/treeView">https://meshb-prev.nlm.nih.gov/treeView</a>）。收集某个类别的MeSH ID。将类别名称保存在文件“textcube_config.json’ 在配置目录中（参见下载版本中“年龄组”类别的示例）textcube_config.json’ 文件）。</li>
	<li>将收集到的MeSH ID类别用空格分隔并排成一行。将类别文件保存为‘类别.txt“输入”目录中的“年龄组”MeSH ID 示例（见下载版本中的‘分类.txt’ 文件）。该算法会自动选择所有下属的MeSH描述符。根节点及其下属节点的示例如下所示： 图4.</li>
	<li>确保“mesh2pmid.json’位于“data”目录中。如果MeSH树已使用不同的名称更新（例如，“meashtree2019.bin）位于“input”目录中，请确保在“input”目录的数据路径中正确表示这一点run_textube.py’ 文件。</li>
	<li>类型‘python run_textcube.py在终端中输入“’”以创建名为Text-Cube的文档数据结构。这将为每个类别创建一组文档（PMIDs）。单个文档（PMID）可能属于多个类别（参见 表 3A，表 3B, 图6A 和 图7A）。</li>
	<li>文本立方体创建步骤完成后，请确保以下数据文件已保存至“data”目录：（1）细胞到PMID的对应表，文件名为“textcube_cell2pmid.json”，（2）一个将PMID映射到细胞的表格作为“textcube_pmid2cell.json”，（3）将某个细胞的所有后代MeSH术语集合为“meshterms_per_cat.json”（4）Text-Cube 数据统计为“textcube_stat.txt”.</li>
	<li>转到“log”目录以查看其中的 log 消息textcube_log.txt如果此过程失败，将显示“”。如果过程成功完成，日志文件中将打印出文本立方体创建的调试信息。</li>
</ol>
7. 实体计数
<ol>
	<li>创建用户自定义实体（例如蛋白质名称、基因、化学品）。每行输入一个实体及其缩写，用“|”分隔。将实体文件保存为“entities.txt”，并存放在“input”目录中。实体示例见表4。</li>
	<li>确保Elasticsearch服务器正在运行。否则，请转至步骤5.2和5.3，重新启动Elasticsearch服务器。您的Elasticsearch服务器中应已建立一个名为“pubmed”的索引数据库，该数据库在步骤5中创建。</li>
	<li>确保“textcube_pmid2cell.json”文件位于“data”目录中。</li>
	<li>在终端中输入“python run_entitycount.py”以执行实体计数操作。该操作将从索引数据库中检索文档，统计每个文档中实体的出现次数，并收集包含这些实体的PMID。</li>
	<li>实体计数完成后，请确认最终结果已保存为“entitycount.txt”和“entityfound_pmid2cell.json”，并存放于“data”目录中。</li>
	<li>若该过程失败，请进入“log”目录，查看“entitycount_log.txt”中的日志信息。若过程成功完成，实体计数的调试信息将被输出至该日志文件中。</li>
</ol>
8. 元数据更新
<ol>
	<li>确保所有输入数据（‘entitycount.txt’，‘textcube_pmid2cell.json’，‘entityfound_pmid2cell.txt’) 位于“data”目录中，这些是元数据更新的输入数据。</li>
	<li>类型 ‘python run_metadata_update.py在终端中输入“’以更新元数据。这将准备一组元数据（例如细胞名称、相关MeSH、PMID），用于表示细胞中的每篇文本文档。此处展示了Text-Cube元数据的一个示例。 表 3A 和 表 3B。</li>
	<li>元数据更新完成后，确保“metadata_pmid2pcount.json’ 和 ‘元数据细胞2pmid.json“文件保存在‘data’目录中。</li>
	<li>转到“log”目录以查看其中的“log”消息metadata_update_log.txt如果此过程失败，则会显示“”。如果过程成功完成，元数据更新的调试信息将被打印在日志文件中。</li>
</ol>
9. CaseOLAP 评分计算
<ol>
	<li>确保“data”目录中包含“metadata_pmid2pcount.json”和“metadata_cell2pmid.json”文件。这些文件是计算得分的输入数据。</li>
	<li>在终端中输入“python run_caseolap_score.py”以执行CaseOLAP得分计算。该步骤将基于用户定义的类别计算各实体的CaseOLAP得分。CaseOLAP得分等于完整性、流行度和特异性三者的乘积。</li>
	<li>得分计算完成后，确认结果已保存至“result”目录下的多个文件中（例如，“pop.csv”保存流行度，“dist.csv”保存特异性，“caseolap.csv”保存CaseOLAP得分）。CaseOLAP得分计算的汇总结果也见于表5。</li>
	<li>若该过程失败，请进入“log”目录，查看“caseolap_score_log.txt”中的日志信息。若过程成功完成，CaseOLAP得分计算的调试信息将被输出至该日志文件中。</li>
</ol>

<ol><li>Tao, F., Zhuang, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Phrase-Based+Summarization+in+Text+Cubes%5BTitle%5D)+AND+%22IEEE+Data+Engineering+Bulletin%22%5BJournal%5D)">Phrase-Based Summarization in Text Cubes.</a> IEEE Data Engineering Bulletin. , 74-84 (2016).</li>
<li>Ding, B., Zhao, B., Lin, C. X., Han, J., Zhai, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((TopCells%3A+Keyword-based+search+of+top-k+aggregated+documents+in+text+cube%5BTitle%5D)+AND+%22IEEE+26th+International+Conference+on+Data+Engineering+%28ICDE%29%22%5BJournal%5D)">TopCells: Keyword-based search of top-k aggregated documents in text cube.</a> IEEE 26th International Conference on Data Engineering (ICDE). , 381-384 (2010).</li>
<li>Ding, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Efficient+Keyword-Based+Search+for+Top-K+Cells+in+Text+Cube%5BTitle%5D)+AND+%22IEEE+Transactions+on+Knowledge+and+Data+Engineering%22%5BJournal%5D)">Efficient Keyword-Based Search for Top-K Cells in Text Cube.</a> IEEE Transactions on Knowledge and Data Engineering. 23 (12), 1795-1810 (2011).</li>
<li>Liu, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Text+Cube+Approach+to+Human%2C+Social+and+Cultural+Behavior+in+the+Twitter+Stream.Social+Computing%2C+Behavioral-Cultural+Modeling+and+Prediction%5BTitle%5D)+AND+%22Lecture+Notes+in+Computer+Science%22%5BJournal%5D)">A Text Cube Approach to Human, Social and Cultural Behavior in the Twitter Stream.Social Computing, Behavioral-Cultural Modeling and Prediction.</a> Lecture Notes in Computer Science. 7812, (2013).</li>
<li>Liem, D. A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Phrase+Mining+of+Textual+Data+to+analyze+extracellular+matrix+protein+patterns+across+cardiovascular+disease%5BTitle%5D)+AND+%22American+Journal+of+Physiology-Heart+and+Circulatory%22%5BJournal%5D)">Phrase Mining of Textual Data to analyze extracellular matrix protein patterns across cardiovascular disease.</a> American Journal of Physiology-Heart and Circulatory. , (2018).</li>
<li>Shang, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automated+Phrase+Mining+from+Massive+Text+Corpora%5BTitle%5D)+AND+%22IEEE+Transactions+on+Knowledge+and+Data+Engineering%22%5BJournal%5D)">Automated Phrase Mining from Massive Text Corpora.</a> IEEE Transactions on Knowledge and Data Engineering. 30 (10), 1825-1837 (2018).</li>
<li>Liu, J., Shang, J., Wang, C., Ren, X., Han, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mining+Quality+Phrases+from+Massive+Text+Corpora%5BTitle%5D)+AND+%22Proceedings+ACM-Sigmod+International+Conference+on+Management+of+Data%22%5BJournal%5D)">Mining Quality Phrases from Massive Text Corpora.</a> Proceedings ACM-Sigmod International Conference on Management of Data. , 1729-1744 (2015).</li>
<li>Lee, S., Kim, N., Kim, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Multi-dimensional+Analysis+and+Data+Cube+for+Unstructured+Text+and+Social+Media%5BTitle%5D)+AND+%22IEEE+Fourth+International+Conference+on+Big+Data+and+Cloud+Computing%22%5BJournal%5D)">A Multi-dimensional Analysis and Data Cube for Unstructured Text and Social Media.</a> IEEE Fourth International Conference on Big Data and Cloud Computing. , 761-764 (2014).</li>
<li>Lin, C. X., Ding, B., Han, J., Zhu, F., Zhao, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Text+Cube%3A+Computing+IR+Measures+for+Multidimensional+Text+Database+Analysis%5BTitle%5D)+AND+%22IEEE+Data+Mining%22%5BJournal%5D)">Text Cube: Computing IR Measures for Multidimensional Text Database Analysis.</a> IEEE Data Mining. , 905-910 (2008).</li>
<li>Hsu, W. J., Lu, Y., Lee, Z. Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Accelerating+Topic+Exploration+of+Multi-Dimensional+Documents+Parallel+and+Distributed+Processing+Symposium+Workshops+%28IPDPSW%29%5BTitle%5D)+AND+%22IEEE+International%22%5BJournal%5D)">Accelerating Topic Exploration of Multi-Dimensional Documents Parallel and Distributed Processing Symposium Workshops (IPDPSW).</a> IEEE International. , 1520-1527 (2017).</li>
<li>Chaudhuri, S., Dayal, U. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+overview+of+data+warehousing+and+OLAP+technology%5BTitle%5D)+AND+%22SIGMOD+Record%22%5BJournal%5D)">An overview of data warehousing and OLAP technology.</a> SIGMOD Record. 26 (1), 65-74 (1997).</li>
<li>Ravat, F., Teste, O., Tournier, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Olap+aggregation+function+for+textual+data+warehouse%5BTitle%5D)+AND+%22ICEIS+-+9th+International+Conference+on+Enterprise+Information+Systems%2C+Proceedings%22%5BJournal%5D)">Olap aggregation function for textual data warehouse.</a> ICEIS - 9th International Conference on Enterprise Information Systems, Proceedings. , 151-156 (2007).</li>
<li>Ho, C. T., Agrawal, R., Megiddo, N., Srikant, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Range+Queries+in+OLAP+Data+Cubes%5BTitle%5D)+AND+%22SIGMOD+Conference%22%5BJournal%5D)">Range Queries in OLAP Data Cubes.</a> SIGMOD Conference. , (1997).</li>
<li>Saxena, V., Pratap, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Olap+Cube+Representation+for+Object-+Oriented+Database%5BTitle%5D)+AND+%22International+Journal+of+Software+Engineering+%26+Applications%22%5BJournal%5D)">Olap Cube Representation for Object- Oriented Database.</a> International Journal of Software Engineering & Applications. 3 (2), (2012).</li>
<li>Maniatis, A. S., Vassiliadis, P., Skiadopoulos, S., Vassiliou, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Advanced+visualization+for+OLAP%5BTitle%5D)+AND+%22DOLAP%22%5BJournal%5D)">Advanced visualization for OLAP.</a> DOLAP. , (2003).</li>
<li>Bog, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBog%2C+A+%22Benchmarking+Transaction+and+Analytical+Processing+Systems%3A+The+Creation+of+a+Mixed+Workload+Benchmark+and+its+Application%22">Benchmarking Transaction and Analytical Processing Systems: The Creation of a Mixed Workload Benchmark and its Application</a>. , Springer Science & Business Media. 7-13 (2013).</li>
<li>Özcan, F., Tian, Y., Tözün, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hybrid+Transactional%2FAnalytical+Processing%3A+A+Survey%5BTitle%5D)+AND+%22In+Proceedings+of+the+ACM+International+Conference+on+Management+of+Data+%28SIGMOD%29%22%5BJournal%5D)">Hybrid Transactional/Analytical Processing: A Survey.</a> In Proceedings of the ACM International Conference on Management of Data (SIGMOD). , 1771-1775 (2017).</li>
<li>Hasan, K. M. A., Tsuji, T., Higuchi, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+Efficient+Implementation+for+MOLAP+Basic+Data+Structure+and+Its+Evaluation%5BTitle%5D)+AND+%22International+Conference+on+Database+Systems+for+Advanced+Applications%22%5BJournal%5D)">An Efficient Implementation for MOLAP Basic Data Structure and Its Evaluation.</a> International Conference on Database Systems for Advanced Applications. , 288-299 (2007).</li>
<li>Nantajeewarawat, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Advances+in+Databases%3A+Concepts%2C+Systems+and+Applications.+DASFAA+2007%5BTitle%5D)+AND+%22Lecture+Notes+in+Computer+Science%22%5BJournal%5D)">Advances in Databases: Concepts, Systems and Applications. DASFAA 2007.</a> Lecture Notes in Computer Science. 4443, (2007).</li>
<li>Shimada, T., Tsuji, T., Higuchi, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+storage+scheme+for+multidimensional+data+alleviating+dimension+dependency%5BTitle%5D)+AND+%22Third+International+Conference+on+Digital+Information+Management%22%5BJournal%5D)">A storage scheme for multidimensional data alleviating dimension dependency.</a> Third International Conference on Digital Information Management. , 662-668 (2007).</li>
</ol>

作者无任何利益冲突需要披露。

我们已证明，CaseOLAP 算法能够通过对大量文本数据进行分析，建立基于短语的定量关联，从而关联到基于知识的类别，并提取有意义的信息。按照本方案，用户可构建 CaseOLAP 框架，生成所需的文字立方体（Text-Cube），并通过计算 CaseOLAP 分数来量化实体与类别之间的关联性。所获得的原始 CaseOLAP 分数可用于整合性分析，包括降维、聚类、时间与地理分析，以及构建图形数据库，实现对文献的语义映射。
算法的适用性。 用户自定义实体的示例除蛋白质外，还可包括基因名称列表、药物、特定体征和症状（含其缩写及同义词）。此外，类别选择有多种选项，可用于支持特定的用户自定义生物医学分析（例如：解剖学 [A]、学科与职业 [H]、现象与过程 [G]）。在我们的两个应用案例中，所有科学出版物及其文本数据均通过 PubMed 搜索引擎从 MEDLINE 数据库中获取，两者均由美国国家医学图书馆管理。然而，CaseOLAP 平台也可应用于其他包含具有文本数据的生物医学文献的数据库，例如美国食品药品监督管理局不良事件报告系统（FDA Adverse Event Reporting System, FAERS）。这是一个公开数据库，包含提交至 FDA 的医疗不良事件和用药错误报告信息。与 MEDLINE 和 FAERS 相比，医院内部存储患者电子健康记录的数据库不向公众开放，并受到《健康保险可携性与责任法案》（Health Insurance Portability and Accountability Act, HIPAA）的限制。
CaseOLAP 算法已成功应用于多种类型的数据（例如新闻文章）1。该算法在生物医学文献中的应用始于2018年5。应用 CaseOLAP 算法的前提是每篇文档均需标注与概念相关联的关键词（例如生物医学出版物中的 MeSH 描述符、新闻文章中的关键词）。若无法获取关键词，可使用 Autophrase6,7&#160;来收集最具代表性的短语并构建实体列表，然后再执行本方案。本方案不包含执行 Autophrase 的步骤。
与其他算法的比较。 自2005年以来，使用数据立方体8,9,10和文本立方体2,3,4的概念不断发展，以推动数据挖掘技术的适用性。在线分析处理（OLAP）11,12,13,14,15在数据挖掘与商业智能中的概念可追溯至1993年。OLAP通常从多个系统中聚合信息，并将其以多维格式存储。在数据挖掘中已实现多种类型的OLAP系统，例如：（1）混合事务/分析处理（HTAP）16,17，（2）多维OLAP（MOLAP）18,19—基于立方体，以及（3）关系型OLAP（ROLAP）20。
具体而言，CaseOLAP 算法已与多种现有算法进行了比较，特别是结合了短语分段优化的算法，包括 TF-IDF+Seg、MCX+Seg、MCX 和 SegPhrase。此外，RepPhrase（RP，亦称 SegPhrase+）也与其自身的消融变体进行了比较，包括：（1）未引入完整性度量的 RP（RP No INT）；（2）未引入流行度度量的 RP（RP No POP）；（3）未引入区分度度量的 RP（RP No DIS）。基准测试结果见 Fangbo Tao 等人的研究1。
在数据挖掘方面仍存在一些挑战，这些挑战能够为数据库中数据的存储与检索提供额外的功能。上下文感知语义分析处理（CaseOLAP）系统性地实现了Elasticsearch，以构建包含数百万文档的索引数据库（方案5）。文本立方体（Text-Cube）是基于已索引数据、由用户提供的分类构建的文档结构（方案6）。这增强了文本立方体内部及跨单元格文档的功能，使我们能够计算实体在文档中的词频以及特定单元格内的文档频次（方案8）。最终的CaseOLAP评分利用这些频率计算结果输出一个综合得分（方案9）。2018年，我们应用该算法研究了细胞外基质（ECM）蛋白与六种心脏疾病之间的关联，以分析蛋白-疾病关系。该研究的详细信息可参见Liem, D.A. 等人的研究5，表明CaseOLAP可在生物医学领域广泛用于探索多种疾病及其机制。
算法的局限性。 短语挖掘本身是一种从文本数据中管理和提取重要概念的技术。尽管该技术能够以数学形式（向量）发现实体与类别之间的关联，但无法判断这种关联的极性（例如，正向或负向倾向）。虽然可以利用带有指定实体和类别的 Text-Cube 文档结构对数据进行定量总结，但无法获得具有微观细粒度的定性概念。某些概念从过去至今持续演变，而当前针对特定实体-类别关联所呈现的总结包含了文献中的所有实例，这可能忽略了创新在时间上的传播过程。未来，我们计划解决这些局限性。
未来应用。 全球积累的数据中约有90%属于非结构化文本数据。从文本中识别出代表性的短语以及嵌入实体之间的关系，对于新技术（例如机器学习、信息抽取、人工智能）的应用而言是一项极为重要的任务。为了使文本数据具备机器可读性，需要将数据组织到数据库中，以便在其之上构建下一层工具。未来，该算法可成为提升数据挖掘功能的关键步骤，有助于信息检索以及实体与类别关联关系的量化分析。

手动评估数百万个文本文件以研究短语与类别之间的关联（例如., 年龄组与蛋白质关联）无法与自动化计算方法提供的效率相媲美。我们希望介绍基于云的上下文感知语义在线分析处理（CaseOLAP）平台作为一种短语挖掘方法，用于在生物医学背景下自动计算短语与类别之间的关联。
CaseOLAP 平台最初于2016年提出1，由于采用了称为文本立方体（Text-Cube）的功能性文档管理机制2,3,4&#160;，能够在保持文档底层层级结构和邻近关系的同时实现文档的分布式管理，因此相较于传统的数据管理和计算方法具有更高的效率。该平台已应用于生物医学研究5&#160;，用于研究实体与类别之间的关联。CaseOLAP 平台主要包括六个关键步骤：数据下载与提取、解析、索引构建、文本立方体（Text-Cube）创建、实体计数以及 CaseOLAP 得分计算；其中，CaseOLAP 得分计算是本实验方案的主要重点&#160;（图1、图2，表1）。
为了实施 CaseOLAP 算法，用户需设定感兴趣的主题类别（例如疾病、体征与症状、年龄组、诊断）以及感兴趣的实体（例如蛋白质、药物）。本文包含的一个类别示例是“年龄组”，其子类别包括“婴儿”、“儿童”、“青少年”和“成人”，这些子类别作为文本立方体（Text-Cube）的单元格，而蛋白质名称（同义词）及缩写则作为实体。采用医学主题词表（MeSH）来检索与所定义类别相对应的文献（见表2）。MeSH 描述符按层次树结构组织，允许在不同特异性层级上检索文献&#160;（示例见图3）。CaseOLAP 平台利用数据索引和搜索功能，对与特定实体相关的文献进行整理，进而实现文献到实体的计数映射以及 CaseOLAP 分数的计算。
CaseOLAP 评分计算的详细信息可参见先前的出版物1,5。该评分基于底层 Text-Cube 文档结构中的特定排序标准进行计算。最终得分为完整性、流行度和特异性三项的乘积。完整性用于描述一个代表性实体是否为一个完整的语义单元，能够共同指向一个有意义的概念。用户自定义短语的完整性被设定为 1.0，因其在文献中被视为标准短语。特异性表示某一短语在一个文档子集中的相对相关性，相较于其他单元格中的情况。它首先通过比较目标数据集中蛋白质名称的出现频率，计算该实体对特定单元格的相关性，并提供归一化的特异性评分。流行度反映的是某一短语在文档子集中出现频率越高，则其流行度评分也越高。在某一单元格中罕见的蛋白质名称排名较低，而由于采用了频率的对数函数，其提及频率的增加所带来的评分提升呈递减趋势。对这三个概念的定量衡量依赖于：（1）实体在某一单元格内及跨单元格的词频；（2）包含该实体的文档数量（即文档频率），同样涵盖单元格内部及跨单元格的情况。
我们利用 PubMed 数据集和我们的算法研究了两个具有代表性的场景。我们关注线粒体蛋白如何与两种独特的 MeSH 描述符类别相关联：&#34;Age Groups&#34; 和 &#34;Nutritional and Metabolic Diseases&#34;。具体而言，我们从 PubMed 收集的 20 年（1998 年至 2018 年）出版物中检索出 15,728,250 篇文献，其中包含 8,123,458 篇具有完整 MeSH 描述符的唯一摘要。相应地，我们系统地分析了从 UniProt（uniprot.org）以及 MitoCarta2.0（http://mitominer.mrc-mbu.cam.ac.uk/release-4.0/begin.do&#62;）获取的 1,842 种人类线粒体蛋白名称（包括缩写和同义词）。我们使用本研究方案分析了这些蛋白与 8,899,019 篇出版物及相关实体的关联性；构建了文本立方体（Text-Cube），并计算了相应的 CaseOLAP 分数。

基于云的生物医学出版物中用户定义短语-类别关联的短语挖掘与分析

Cloud-Based Phrase Mining and Analysis of User-Defined Phrase-Category Association in Biomedical Publications

生物医学文本数据的快速增长已远远超过人工整理和分析的能力，因此需要新型的文本挖掘工具，以从大量科学报告中提取生物学见解。2016年开发的上下文感知语义在线分析处理（Context-aware Semantic Online Analytical Processing，CaseOLAP）流程，能够通过分析文本数据，量化用户自定义的短语与类别之间的关系。CaseOLAP 具有广泛的生物医学应用。
我们开发了一种支持端到端短语挖掘与分析平台的基于云环境的实验方案。本方案包括数据预处理（例如下载、提取和解析文本文件）、使用Elasticsearch进行索引与检索、构建一种称为文本立方体（Text-Cube）的功能性文档结构，以及利用核心CaseOLAP算法对短语与类别之间的关系进行量化分析。
我们的数据预处理为所有相关文档生成键值映射。预处理后的数据被建立索引，以实现对包含实体的文档进行检索，进而促进文本立方体（Text-Cube）的构建和CaseOLAP评分的计算。所获得的原始CaseOLAP评分通过一系列整合分析进行解读，包括降维分析、聚类分析、时间序列分析和地理分布分析。此外，CaseOLAP评分还用于构建图形数据库，从而实现对文档的语义映射。
CaseOLAP 以准确（识别关系）、一致（高度可重复）和高效（每秒处理 100,000 个词）的方式定义短语与类别之间的关系。通过遵循本方案，用户可访问云计算环境，以支持其对 CaseOLAP 的自定义配置和应用。该平台提高了可访问性，并为生物医学界提供了短语挖掘工具，支持广泛的生物医学研究应用。

我们提供了一种实验方案及相关的编程代码和元数据样本，以支持基于云平台的自动化识别，在生物医学文献中识别用户选定知识领域内代表独特概念的短语与类别之间的关联。通过本方案量化的短语-类别关联可促进对选定知识领域的深入分析。

生物医学文本数据的快速增长已远远超过人工整理与分析的能力，迫切需要新型的文本挖掘技术……

本方案提供了一种构建基于云的短语挖掘平台的逐步操作方法，用于用户自定义实体类别关联分析，以评估蛋白质、基因组或化学物质与特定疾病之间的关联性。该技术的主要优势在于，相较于人工进行实体类别关联评估，其效率更高，且可显著提升短语挖掘工具的可访问性，适用于广泛的生物医学研究应用。用户可在生物医学文献或与特定关键词相关的文本文件中，选择感兴趣的实体和类别。新用户可遵循本文提供的方案及参考文献，并可在我们的 GitHub 仓库中提出技术问题。对该内容的可视化演示能够更清晰地展示如何执行该方案，并促进新型文本挖掘工具的应用。要创建文本立方体，首先下载最新可用的医学主题词表（Medical Subject Headings）或 MeSH 树状结构。网格树2018的代码为MESHTree2018.bin，应将其输入至输入目录中。使用一个或多个网格描述符定义感兴趣类别，并收集某一类别的网格ID。将分类名称保存在 config 目录下的 textcube_config.json 文件中，并将收集到的 mesh ID 分类以空格分隔的形式添加为一行。将该分类文件保存为 categories。输入目录中的 txt 文件。该算法会自动选择所有子代主题词（mesh）描述符。请确保 mesh2pmid。json 文件位于 data 目录中。如果输入目录中的网格树已使用不同的名称更新，请确保在 run_textcube.py 文件的输入数据路径中正确反映该名称。要创建名为 text-cube 的文档结构，请在终端中输入 python run_textcube.py，以为每个类别创建一组文档。单个文档可能属于多个类别。完成文本立方体（text-cube）创建步骤后，需确保将细胞到PMID的映射表作为 textcube_cell2pmid.json 保存在数据目录中。将PMID到细胞的映射表作为 textcube_pmid2cell.json 保存在数据目录中。将每个细胞对应的所有下级MeSH术语集合作为 meshterms_per_cat.json 保存在数据目录中。文本立方体数据的统计结果将保存在数据目录中，文件名为 textcube_stat.txt。然后，请前往日志目录查看 textcube_log.txt 中的日志信息，以防该过程失败。如果过程成功完成，文本立方体创建的调试信息将被打印在日志文件中。对于实体计数，请创建用户自定义的实体，将一个实体及其缩写放在一行内，用竖线符号分隔。将实体文件保存为 entities。txt 文件放入输入目录，并确保 Elasticsearch 服务器正在运行。如果 Elasticsearch 服务器中已存在名为 PubMed 的索引数据库，请确认 data 目录中存在 textcube_pmid2cell.json 文件，然后输入命令 python run_entitycount。在终端中运行 py 以执行实体计数操作。当索引数据库中的所有文档及其每篇文档中的实体数量均被统计，并且已收集到包含这些实体的 PMIDs 后，将最终结果保存为 entitycount.txt 和 entityfound_pmid2cell。数据目录中的 json 文件。然后，打开日志目录以读取 entitycount_log.txt 中的日志消息，以防此过程失败。如果流程成功完成，实体数量的调试信息将被打印到日志文件中。请确保所有输入数据均位于数据目录中。这些数据是元数据更新的输入文件。为准备元数据集，请在终端中输入 python run_metadata_update.py 以更新元数据。元数据更新完成后，请确保 metadata_pmid2pcount。json 文件和 metadata_cell2pmid.json 文件已保存在 data 目录中。请进入 log 目录以查看 metadata_update_log 中的日志信息。txt 文件，以防此过程失败。如果过程成功完成，元数据更新的调试信息将打印在日志文件中。对于上下文感知的语义在线分析处理评分计算，请确认存在 metadata_pmid2pcount。数据目录中的 json 和 metadata_cell2pmid.json 文件。这些文件是评分计算的输入数据。在终端中输入 python run_caseolap_score.py，以根据用户定义的类别对实体进行上下文感知的语义在线分析处理评分计算。该评分是完整性、流行度和独特性的乘积。评分计算完成后，请确认结果已保存至结果目录。然后，访问日志目录，查看 caseolab_score_log.txt 文件中的日志信息，以防该过程失败。如果该过程成功完成，案例评分计算的调试信息将被打印在日志文件中。利用从婴儿、儿童、青少年和成人四个年龄组子类别中获取的元数据和统计信息，可以显示文本立方体各单元格之间文档数量的比较结果。其中，成年子类别在所有单元格中包含的文档数量最多，而成年与青少年子类别之间共享的文档数量最多，并且包含了本次代表性分析所关注的目标实体。通过评估蛋白质年龄组关联作为上下文感知的语义在线分析处理评分，可确定与婴儿、儿童、青少年和成人子类别相关的前10种蛋白质。此处展示了获得的营养与代谢性疾病子类别的元数据和统计信息。代谢性疾病子类别所包含的文献数量几乎是营养障碍子类别的三倍。代谢性疾病与营养障碍亚类共有 7,101 篇共享文献。值得注意的是，这些文献包含了代表性研究中关注的实体。两个亚类之间共享了超过一半的蛋白质，其中代谢性疾病亚类中近一半的相关蛋白质为该亚类所独有，而营养障碍亚类中仅有少数蛋白质为其独有。独立且明确的类别，以及实体所有同义词和缩写的集合，将提供最佳结果。由于实体类别关联以数值形式呈现，这为实施无监督学习技术（如聚类分析和主成分分析）提供了可能。该技术有助于发现这些关联中隐藏的或先前未识别的关系，为进一步深入理解生物过程奠定了基础。

cloud-based-phrase-mining-analysis-user-defined-phrase-category

Research

科研

JoVE Journal

Medicine

医学

生物医学出版物中基于云的短语挖掘与用户定义短语类协会的分析

识别调控突触可塑性和记忆的分子与通路，至今仍是神经科学领域的主要挑战之一。本文描述了一种工作流程，用于在听觉学习范式中，对可能参与学习与记忆巩固过程中突触分子重组的突触蛋白进行相对定量分析。...

小鼠听觉辨别学习后脑区突触蛋白质组的高分辨率定量分析

我们提出了一种从临床病例报告中提取描述生物医学概念文本的方案及相应的元数据模板。通过该方案生成的结构化文本数据可用于对数千份临床叙述进行深度分析。...

一种用于临床病例报告的元数据提取方法，以实现对生物医学概念的深入理解

本文介绍了一种基于对来自多种公开数据库的合并临床数据集进行综合分析，以逐步开展表达、相关性及生存分析策略，探索乳腺癌生物标志物和生存预测因子的实验方案。...

利用多个公开数据库对乳腺癌生物标志物进行数据挖掘与整合分析

本文介绍了一种计算方法（CaseOLAP...

利用知识图谱方法阐明细胞器通路在疾病中的作用 通过 生物医学报告

我们介绍了 CorrelationCalculator 和 Filigree 两种用于代谢组学数据驱动网络构建与分析的工具。CorrelationCalculator 支持基于表达数据构建单一的代谢物相互作用网络，而 Filigree...

CorrelationCalculator 和 Filigree：面向代谢组学数据的基于数据驱动的网络分析工具

本研究分析了33名阿尔茨海默病（AD）患者的单细胞核转录组，揭示了胶质细胞中与性别相关的差异表达基因（DEGs）。功能富集分析强调了突触、神经及激素相关通路的作用。研究鉴定了关键基因NLGN4Y及其调控因子，并提出了针对性别特异性AD的潜在治疗靶点。...

基于胶质细胞转录组谱的阿尔茨海默病性别特异性生物标志物鉴定

本文介绍了RUGGED（基于图引导可解释疾病区分的检索），该方法将大语言模型（LLM）推理与检索增强生成（RAG）相结合。它从专家整理的生物医学知识库和同行评审的生物医学出版物中提取证据，利用最新信息综合新知识，识别具有可解释性和可操作性的预测结果，并确定假设驱动研究的潜在方向。...

基于证据的知识整合与假设验证：探索生物医学知识库 通过 可解释人工智能与智能体系统

在以下章节中，我们概述了用于生物医学应用的海藻酸盐微球的制备方法。我们重点介绍一种用于制备多层海藻酸盐微球的技术，该技术可同时包封细胞和蛋白质，有望用于治疗1型糖尿病。...

用于生物医学应用的海藻酸盐微球的制备

我们描述了利用主动脉窦和升主动脉的精密切片，结合组织化学和免疫组织化学分析，对小鼠模型中的动脉粥样硬化病变进行定量和表征的实验方法。...

小鼠主动脉窦动脉粥样硬化病变的定量分析与表征

本文描述了在实验条件下牛肺的支气管镜技术。 即...

牛肺在生物医学研究中的应用：可视化引导支气管镜检查、支气管内接种及 体内 采样技术

学习构建基于云的短语挖掘平台，用于分析生物医学出版物中的蛋白质、基因组或化学物质与特定疾病的关联。该方法通过自动化实体类别关联评估，显著提高研究效率。

基于云的生物医学出版物中用户定义短语-类别关联的短语挖掘与分析

探索更多视频