Query Evaluation Techniques for Data Integration Systems

Auswertungstechniken für Datenintegrationssysteme

  • In this work we present novel query evaluation techniques for data integration systems in different environments, ranging from a central data-warehouse approach, over distributed virtual market places, to peer-to-peer (P2P) systems. Based on a new distributed evaluation technique, the so-called HyperQueries, we present a reference architecture for distributed virtual market places. These HyperQueries enable us to dynamically construct query evaluation plans by referencing sub-plans in the Internet. Furthermore, the process of data integration is structured. Subsequently, we investigate P2P data integration systems without central instances. We introduce so-called Super-Peers which structure a P2P network. Using this Super-Peer based network we "unroll" queries. This allows us to execute even user-defined operators nearby the data sources. Finally, we propose novel, efficient join algorithms for decision support queries in central data-warehouse systems. The proposed order-preserving hashjoins and generalized hashteams are based onIn this work we present novel query evaluation techniques for data integration systems in different environments, ranging from a central data-warehouse approach, over distributed virtual market places, to peer-to-peer (P2P) systems. Based on a new distributed evaluation technique, the so-called HyperQueries, we present a reference architecture for distributed virtual market places. These HyperQueries enable us to dynamically construct query evaluation plans by referencing sub-plans in the Internet. Furthermore, the process of data integration is structured. Subsequently, we investigate P2P data integration systems without central instances. We introduce so-called Super-Peers which structure a P2P network. Using this Super-Peer based network we "unroll" queries. This allows us to execute even user-defined operators nearby the data sources. Finally, we propose novel, efficient join algorithms for decision support queries in central data-warehouse systems. The proposed order-preserving hashjoins and generalized hashteams are based on early sorting and early partitioning of the inputs and can speed up the query evaluation up to orders of magnitutes.show moreshow less
  • In dieser Arbeit werden neue Auswertungstechniken für Anfragen in unterschiedlichen Datenintegrationsumgebungen gezeigt, angefangen vom zentralen Data-Warehouse-Ansatz, über verteilte virtuelle Marktplätze bis hin zu Peer-To-Peer (P2P) Systemen. Basierend auf einer neuen verteilten Auswertungstechnik, den sog. HyperQueries, wird eine Referenzarchitektur für verteilte virtuelle Marktplätze gezeigt. Diese HyperQueries ermöglichen den dynamischen Aufbau von Auswertungsplänen durch die Referenzierung von Teilplänen im Internet und eine Strukturierung des Datenintegrationsprozesses. Daran anschließend werden P2P Datenintegrationssysteme ohne zentrale Instanzen näher betrachtet. Dazu wird ein P2P Netzwerk durch den Einsatz von Super-Peers strukturiert und es werden Anfragepläne über das Netzwerk hin "abgerollt". Das ermöglicht es, auch benutzerdefinierte Operatoren nahe an den Datenquellen auszuführen. Den Abschluss bilden neue, effiziente Join Methoden für Decision Support Anfragen in zentralen Data-Warehouse-Systemen. Die vorgestelltenIn dieser Arbeit werden neue Auswertungstechniken für Anfragen in unterschiedlichen Datenintegrationsumgebungen gezeigt, angefangen vom zentralen Data-Warehouse-Ansatz, über verteilte virtuelle Marktplätze bis hin zu Peer-To-Peer (P2P) Systemen. Basierend auf einer neuen verteilten Auswertungstechnik, den sog. HyperQueries, wird eine Referenzarchitektur für verteilte virtuelle Marktplätze gezeigt. Diese HyperQueries ermöglichen den dynamischen Aufbau von Auswertungsplänen durch die Referenzierung von Teilplänen im Internet und eine Strukturierung des Datenintegrationsprozesses. Daran anschließend werden P2P Datenintegrationssysteme ohne zentrale Instanzen näher betrachtet. Dazu wird ein P2P Netzwerk durch den Einsatz von Super-Peers strukturiert und es werden Anfragepläne über das Netzwerk hin "abgerollt". Das ermöglicht es, auch benutzerdefinierte Operatoren nahe an den Datenquellen auszuführen. Den Abschluss bilden neue, effiziente Join Methoden für Decision Support Anfragen in zentralen Data-Warehouse-Systemen. Die vorgestellten ordnungserhaltenden Hashjoins und verallgemeinerten Hashteams basieren auf früher Sortierung und früher Partitionierung der Eingaben und können die Anfragebearbeitung um Grössenordnungen beschleunigen.show moreshow less

Download full text files

Export metadata

Additional Services

Share in Twitter Search Google Scholar
Metadaten
Author:Christian Wiesner
URN:urn:nbn:de:bvb:739-opus-406
Advisor:Alfons Kemper
Document Type:Doctoral Thesis
Language:English
Year of Completion:2004
Date of Publication (online):2004/08/06
Publishing Institution:Universität Passau
Granting Institution:Universität Passau, Fakultät für Informatik und Mathematik
Date of final exam:2004/07/09
Release Date:2004/08/06
Tag:Anfrageauswertung; Anfrageoptimierung; Java; Skalierbarkeit; verteilte Datenbanken
Java; distributed databases; query optimization; query processing; scalability
GND Keyword:Abfrageverarbeitung; Electronic Commerce; Datenintegration
Institutes:Fakultät für Informatik und Mathematik / Mitarbeiter Lehrstuhl/Einrichtung der Fakultät für Informatik und Mathematik
Dewey Decimal Classification:0 Informatik, Informationswissenschaft, allgemeine Werke / 00 Informatik, Wissen, Systeme / 004 Datenverarbeitung; Informatik
open_access (DINI-Set):open_access
Licence (German):License LogoStandardbedingung laut Einverständniserklärung