Bancos de dados para gerenciar eficientemente dados multidimensionais de médio porte, baixa velocidade e multidimensional em engenharia de tecidos
November 22nd, 2019
Muitos pesquisadores geram dados "de tamanho médio", de baixa velocidade e multidimensionais, que podem ser gerenciados de forma mais eficiente com bancos de dados em vez de planilhas. Aqui fornecemos uma visão conceitual dos bancos de dados, incluindo a visualização de dados multidimensionais, a vinculação de tabelas em estruturas de banco de dados relacionais, o mapeamento de pipelines de dados semiautomatizados e o uso do banco de dados para elucidar o significado dos dados.
Os dados científicos tornaram-se cada vez mais complexos e ricos nas últimas duas décadas, mas os cientistas continuam a usar métodos de organização que não atendem mais às suas necessidades de dados em expansão. A principal vantagem de uma técnica descrita neste vídeo é que ele permite um banco de dados que fornece um rigoroso pipeline de dados e armazenamento, mantendo a flexibilidade para análise de dados. Para iniciar a avaliação do conjunto de dados de interesse, baixe os códigos de exemplo e bancos de dados mostrados nesta tabela.
Em seguida, use esta representação gráfica de um banco de dados multidimensional para avaliar se o conjunto de dados de interesse é de fato multidimensional. Os dados precisam atender a duas condições para se beneficiar da organização do banco de dados. Primeiro, os dados precisam ser capazes de serem visualizados de forma multidimensional.
E segundo, deve ganhar maior percepção científica por ser capaz de relacionar um desfecho experimental específico a qualquer uma das dimensões. Bancos de dados relacionais armazenam informações na forma de tabelas que são organizadas em linhas e colunas e podem ser usadas para vincular informações de identificação dentro do banco de dados. A multidimensionalidade é tratada relacionando diferentes campos, como colunas da tabela e tabelas individuais, entre si.
Primeiro, organize os arquivos de dados para que eles tenham nomes únicos bem pensados. Boas práticas com convenções de nomeação de arquivos e estruturas de pasta/subpastoram permitem uma ampla escalabilidade de banco de dados sem comprometer a legibilidade de acessar arquivos manualmente. Adicione arquivos datados em um formato consistente e subpastas de nome de acordo com metadados.
À medida que a estrutura do banco de dados é projetada, desenhar relações entre os campos em diferentes tabelas. Crie a documentação README que descreve o banco de dados e relacionamentos criados. Pode ser tanto gráfico como esta figura ou baseado em texto.
Uma vez que uma entrada entre diferentes tabelas esteja vinculada, todas as informações associadas estão relacionadas a essa entrada e podem ser usadas para chamar consultas complexas para filtrar até as informações desejadas. Faça o resultado final semelhante a este exemplo em que as diferentes características dos indivíduos estão relacionadas aos dados experimentais associados desses indivíduos. O mesmo foi feito através de colunas de tipos de padrões e tipos de dados para entradas correspondentes na tabela dataValues principal para explicar várias notações de taquigrafia.
Identifique todos os vários experimentos e métodos de análise de dados que podem levar à coleta de dados, juntamente com as práticas normais de armazenamento de dados para cada tipo de dados. Trabalhe com software de controle de versão de código aberto, como o GitHub, para garantir a consistência necessária e o controle de versão, minimizando a carga do usuário. Certifique-se de criar um procedimento para nomeação e armazenamento consistentes de dados para permitir um pipeline automatizado.
Use qualquer linguagem de programação conveniente para gerar novas entradas de dados para o banco de dados. Crie pequenas tabelas de ajuda em arquivos separados que podem orientar a seleção automatizada de dados. Esses arquivos servem como um modelo de possibilidades para o pipeline operar sob e são fáceis de editar.
Para gerar novas entradas de dados para o pipeline de dados, programe o código de forma semelhante ao exemplo aqui mostrado que é fornecido nos arquivos suplementares com este artigo. Isso permitirá que se use as tabelas de ajuda como entradas a serem selecionadas pelo usuário. A partir daqui, monte uma nova planilha de locais de arquivos combinando as novas entradas com as entradas anteriores.
O código aqui mostrado e fornecido nos arquivos suplementares pode ser usado para automatizar esse processo. Posteriormente, verifique a planilha mesclada para duplicatas usando o código aqui mostrado para automatizar esta etapa. Além disso, verifique a planilha se há erros usando um método automatizado e notifique o usuário de sua razão e localização.
Além disso, você pode escrever um código que irá verificar o banco de dados compilado e identificar quaisquer pontos de dados ruins ausentes. Remova manualmente pontos ruins sem perder a integridade do banco de dados usando código semelhante ao mostrado aqui. Repita essas etapas para adicionar mais pontos de dados.
Em seguida, use os locais de arquivo para gerar uma planilha de valor de dados. Além disso, crie uma lista atualizada de entradas que podem ser acessadas para identificar locais de arquivos ou mescladas com entradas futuras. Para iniciar a criação do banco de dados, crie primeiro um documento de banco de dados em branco para carregar a tabela de ajuda para as linhas de celular, tipos de dados e tipos de padrões.
Vá para o menu Dados Externos, selecione importação de arquivo de texto, clique em Procurar e selecione o arquivo desejado. No Assistente de Importação, selecione Delimitar e acerte o Next. Selecione Primeira linha contém nomes de campo e vírgula para o tipo de delimitador.
Depois de clicar em Next, selecione as opções de campo padrão e selecione Nenhuma tecla principal. Clique em Next e, em seguida, termine. Em seguida, carregue os dados e os tipos de padrões repetindo esses mesmos passos.
Em seguida, carregue a tabela de valor de dados. Vá para o menu Dados Externos, selecione importação de arquivo de texto, clique em Procurar e selecione o arquivo desejado. No Assistente de Importação, selecione Delimitar e acerte o Next.
Selecione Primeira linha contém nomes de campo e vírgula para o tipo de delimitador. Depois de clicar em Next, selecione as opções de campo padrão e selecione Deixar acessar adicionar a chave principal. Clique em Next e, em seguida, termine.
Agora crie os relacionamentos selecionando as ferramentas do banco de dados, indo para relacionamentos e arrastando todas as tabelas para o conselho. Em seguida, vá para Editar relacionamentos e selecione Criar novo. Selecione os nomes da tabela e da coluna e clique no Tipo Dessarmes que apontará para as tabelas de ajuda.
Depois que cada relacionamento desejado for configurado, vá para Criar e selecione Design de consulta e selecione ou arraste todas as tabelas relevantes para a janela superior. Neste exemplo, linhas de celular, valores de dados, tipos de dados e tipo de padrão são mostrados. Os relacionamentos devem ser configurados automaticamente com base no design de relacionamento anterior.
Agora, preencha as colunas de consulta para os resultados desejados. Para este conjunto de dados, vá mostrar e selecione Totais. Preencha a primeira coluna, a segunda coluna e a terceira coluna, como mostrado aqui.
Preencha a quarta coluna, a quinta coluna e a sexta coluna também. Quando terminar de preencher as colunas, salve e execute a consulta. Para esta amostra de dados experimentais, use a análise unidirecano de variância usando o teste de Tukey para comparações médias entre várias condições.
Quando dada uma infinidade de possíveis confirmações, pode ser difícil identificar onde novas relações existem usando métodos manuais de agregação de dados. Aqui, a organização de filamentos de actina subcelular em múltiplas condições foi medida utilizando-se o grau de ordem orientacional consultando o banco de dados em diferentes confirmações. Os conjuntos de dados anisotrópicos e isotrópicos mostram OOPs muito diferentes, o que era esperado, uma vez que a micropatterning fibronectina influencia fortemente a organização do tecido.
No entanto, não houve diferenças significativas entre as condições de status da mutação ao comparar tecidos isotrópicos. Por outro lado, os tecidos padrão foram estatisticamente menos organizados na linha celular de controle positivo. Essa relação se manteve mesmo quando os dados foram agregados por diferentes famílias versus controle positivo e negativo.
Se necessário, os dados podem ser analisados mais adiante. Como exemplo, aqui o OOP foi traçado contra a idade do indivíduo no momento da biópsia, separado pelo estado de mutação e família para ilustrar a agregação contra uma variável clínica. Com esse conjunto de dados, não há correlação entre organização actin e idade de um indivíduo.
Isso mostra como os mesmos dados podem ser analisados em diferentes combinações e quão facilmente a tarefa normalmente difícil de agregar dados que se enquadram em várias classes pode ser realizada usando bancos de dados. Este protocolo para criar um pipeline organizacional de dados e gerar um banco de dados fornece rigor científico que é absolutamente essencial nesta era de coleta de dados de grande volume.
View the full transcript and gain access to thousands of scientific videos
Visão Geral
Este artigo discute os desafios que os pesquisadores enfrentam na gestão de dados científicos complexos e apresenta uma solução através do uso de bancos de dados. Destaca as vantagens de uma abordagem de banco de dados estruturado para visualizar e analisar dados multidimensionais.
Componentes Principais do Estudo
Área da Ciência
- Gestão de dados
- Estruturas de banco de dados
- Visualização de dados
Fundamentos
- Os dados científicos tornaram-se cada vez mais complexos.
- Métodos tradicionais de organização são inadequados para as necessidades de dados modernas.
- Bancos de dados oferecem uma solução mais eficiente para gestão de dados.
- Dados multidimensionais requerem técnicas específicas de visualização.
Objetivo do Estudo
- Fornecer uma visão conceitual da gestão de banco de dados para dados científicos.
- Demonstrar os benefícios de usar bancos de dados em vez de planilhas.
- Delinear o processo de avaliação de conjuntos de dados multidimensionais.
Métodos Utilizados
- Representação gráfica de bancos de dados multidimensionais.
- Ligação de tabelas em estruturas de banco de dados relacionais.
- Mapeamento de pipelines de dados semi-automatizados.
- Uso de códigos de exemplo e bancos de dados para avaliação prática.
Principais Resultados
- Os bancos de dados fornecem uma solução rigorosa de pipeline e armazenamento de dados.
- A flexibilidade para análise de dados é mantida.
- A visualização de dados em formas multidimensionais é essencial.
- As condições para uma organização eficaz do banco de dados são delineadas.
Conclusões
- Os bancos de dados são superiores para gerenciar dados científicos complexos.
- Eles melhoram a capacidade de analisar e visualizar conjuntos de dados multidimensionais.
- Os pesquisadores são encorajados a adotar técnicas de banco de dados para uma melhor gestão de dados.
Perguntas Frequentes
Executive Industry Relevance
Biopharma R&D increasingly generates medium-sized, multidimensional datasets that challenge traditional spreadsheet-based management, risking data integrity and slowing discovery. Implementing structured database systems enables rigorous, scalable data pipelines that support reproducible analytics and rapid hypothesis testing. This capability is critical for advancing tissue engineering and related translational research where data complexity and regulatory expectations for rigor are rising.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables robust linkage of experimental outcomes to multiple biological variables for mechanistic de-risking.
- Supports functional target validation by integrating diverse data types across experiments.
- Facilitates predictive confidence through structured, queryable data relationships.
Screening & Assay Development
- Prepares validated, multidimensional datasets for downstream screening workflows.
- Standardizes data capture and storage, improving reproducibility and auditability.
- Enables rapid aggregation and comparison of assay results across experimental conditions.
Translational & Preclinical Research
- Aligns experimental data with clinical variables, supporting translational biomarker discovery.
- Maintains continuity from discovery through preclinical validation by preserving data provenance.
- Reduces risk of data loss or misinterpretation during cross-functional handoffs.
Pipeline & Workflow Integration
Database-driven data management integrates seamlessly from early discovery through lead identification and preclinical research, supporting scalable, automated data pipelines.
- Discovery Biology: Enables hypothesis testing and pathway clarification by relating experimental outcomes to multiple variables.
- Screening: Provides standardized, reproducible data structures for reliable assay evaluation.
- Analytics: Delivers quantitative outputs and statistical comparisons through automated queries and aggregation.
- Translational Research: Supports alignment of experimental and clinical data for biomarker validation.
- Enterprise Reuse: Establishes a reusable, scalable data infrastructure adaptable to evolving research needs.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces mechanistic ambiguity in data-driven decisions.
- Operational Value: Enhances standardization, reproducibility, and scalability of data management workflows.
- Strategic Value: Improves go/no-go decision quality and capital efficiency by enabling rapid, rigorous data interrogation.
- Portfolio Impact: Supports risk-adjusted prioritization and advancement of discovery programs.
Implementation Considerations
- Requires expertise in database design, data structuring, and query development.
- Needs compatible instrumentation and analytical infrastructure for data import and integration.
- Demands cross-team agreement on data standards and naming conventions.
- Must be adaptable to diverse experimental models and data types.
- Initial setup effort is offset by long-term gains in efficiency and data rigor.
Biopharma FAQs
Chapters in this video
0:05
Title
0:35
Evaluation of Data to See if it Would Benefit from a Database Organization Scheme
1:16
Organizing the Database Structure
2:51
Set-up and Organization of the Pipeline
4:58
Creation of the Database and Queries
7:34
Results: Identifying a Novel Relationship in LMNA Mutation Data Set
9:11
Conclusion
