Wednesday, November 21, 2007

Microsoft Report Builder - op de goede weg...

Evolving The Platform

Microsoft has long had a strategy of incremental improvement, and with Report Builder, it's a clear start to addressing the needs of both power users and business query authors. Given that Report Builder is bundled with SQL Server 2005 at no additional charge, it's a module that Microsoft customers should evaluate and continue to monitor for future improvements. However, it cannot be called a best-of-breed product at this point given the inflexibility in report layouts, limited data access and limited Office integration.

These drawbacks will drive sophisticated customers who wish to use more mature parts of the Microsoft BI solution (such as Analysis Services) to supplement with more flexible and capable ad hoc query tools from BI pure-play vendors. With many enterprises attempting to reduce the number of different BI tools they use, such a jig-saw approach is fraught with trade-offs, risks and cost implications.

For SQL Server customers who are on a tight budget and who lack a self-service reporting environment, Report Builder offers a low-cost introduction to ad hoc query and reporting. The question is, will you outgrow the capabilities more quickly than Microsoft can enhance the product?

Microsoft Report Builder is an ad hoc query component for Reporting Services and is bundled with SQL Server 2005 at no charge.



The Microsoft BI Platform consists of the following products: SQL Server 2005: Server platform Reporting Services: Reporting component of SQL Server Analysis Services: OLAP component of SQL Server Integration Services: ETL component of SQL Server

BI tools include: Report Builder: Ad hoc query component of Reporting Services Report Designer: Design module within Visual Studio for Reporting Services Excel 2007: Front end to Analysis Services Business Scorecard Manager: Scorecards and strategy maps ProClarity 6.2: Dashboard and visualization for MS Analysis Services

Saturday, November 17, 2007

Kimball ETL stappen

Kimball University: The Subsystems of ETL Revisited
These 34 subsystems cover the crucial extract, transform and load architecture components required in almost every dimensional data warehouse environment. Understanding the breadth of requirements is the first step to putting an effective architecture in place.
By Bob Becker

Through education and consulting work, Kimball Group has been exposed to hundreds of successful data warehouses. Careful study of these successes has revealed a set of extract, transformation, and load (ETL) best practices. We first described these best practices in an Intelligent Enterprise column three years ago (see "The 38 Subsystems of ETL" ). Since then we have continued to refine the practices based on client experiences, feedback from students and continued research. As a result, we have carefully restructured these best practices into 34 subsystems that represent the key ETL architecture components required in almost every dimensional data warehouse environment. No wonder the ETL system takes such a large percentage of data warehouse and BI project resources!

The good news is that if you study these 34 subsystems, you'll recognize almost all of them and will be on the way to leveraging your experience as you build your ETL system. While we understand and accept the industry's accepted acronym, the "ETL" process really has four major components: Extracting, Cleaning and Conforming, Delivering and Managing. Each of these components and all 34 subsystems contained therein are explained below.

EXTRACTING: GETTING DATA INTO THE DATA WAREHOUSE

To no surprise, the initial subsystems of the ETL architecture address the issues of understanding your source data, extracting the data and transferring it to the data warehouse environment where the ETL system can operate on it independent of the operational systems. While the remaining subsystems focus on the transforming, loading and system management within the ETL environment, the initial subsystems interface to the source systems to access the required data. The extract-related ETL subsystems include:

Data Profiling (subsystem 1) — Explores a data source to determine its fit for inclusion as a source and the associated cleaning and conforming requirements.

Change Data Capture (subsystem 2) — Isolates the changes that occurred in the source system to reduce the ETL processing burden.

Extract System (subsystem 3) — Extracts and moves source data into the data warehouse environment for further processing.

CLEANING AND CONFORMING DATA

These critical steps are where the ETL system adds value to the data. The other activities, extracting and delivering data, are obviously important, but they simply move and load the data. The cleaning and conforming subsystems change data and enhance its value to the organization. In addition, these subsystems should be architected to create metadata used to diagnose source-system problems. Such diagnoses can eventually lead to business process reengineering initiatives to address the root causes of dirty data and to improve data quality over time.

The ETL data cleaning process is often expected to fix dirty data, yet at the same time the data warehouse is expected to provide an accurate picture of the data as it was captured by the organization's production systems (see related article, "Data Stewardship 101: First Step to Quality and Consistency). It's essential to strike the proper balance between these conflicting goals. The key is to develop an ETL system capable of correcting, rejecting or loading data as is, and then highlighting, with easy-to-use structures, the modifications, standardizations, rules and assumptions of the underlying cleaning apparatus so the system is self-documenting.

The five major subsystems in the cleaning and conforming step include:

Data Cleansing System (subsystem 4) — Implements data quality processes to catch quality violations.

Error Event Tracking (subsystem 5) — Captures all error events that are vital inputs to data quality improvement.

Audit Dimension Creation (subsystem 6) — Attaches metadata to each fact table as a dimension. This metadata is available to BI applications for visibility into data quality.

Deduplication (subsystem 7) — Eliminates redundant members of core dimensions, such as customers or products. May require integration across multiple sources and application of survivorship rules to identify the most appropriate version of a duplicate row.

Data Conformance (subsystem 8) — Enforces common dimension attributes across conformed master dimensions and common metrics across related fact tables (see related article, "Kimball University: Data Integration for Real People").

DELIVERING: PREPARE FOR PRESENTATION

The primary mission of the ETL system is the handoff of the dimension and fact tables in the delivery step. There is considerable variation in source data structures and cleaning and conforming logic, but the delivery processing techniques are more defined and disciplined. Careful and consistent use of these techniques is critical to building a successful dimensional data warehouse that is reliable, scalable and maintainable.

Many of these subsystems focus on dimension table processing. Dimension tables are the heart of the data warehouse. They provide the context for the fact tables and hence for all the measurements. For many dimensions, the basic load plan is relatively simple: perform basic transformations to the data to build dimension rows to be loaded into the target presentation table.

Preparing fact tables is certainly important as they hold the key measurements of the business that users want to see. Fact tables can be very large and time consuming to load. However, preparing fact tables for presentation is typically more straightforward.

The delivery systems in the ETL architecture consist of:

Slowly Changing Dimension (SCD) Manager (subsystem 9) — Implements logic for slowly changing dimension attributes.

Surrogate Key Generator (subsystem 10) — Produces surrogate keys independently for every dimension.

Hierarchy Manager (subsystem 11) — Delivers multiple, simultaneous, embedded hierarchical structures in a dimension.

Special Dimensions Manager (subsystem 12) — Creates placeholders in the ETL architecture for repeatable processes supporting an organization's specific dimensional design characteristics, including standard dimensional design constructs such as junk dimensions, mini-dimensions and behavior tags.

Fact Table Builders (subsystem 13) — Construct the three primary types of fact tables: transaction grain, periodic snapshot and accumulating snapshot.

Surrogate Key Pipeline (subsystem 14) — Replaces operational natural keys in the incoming fact table record with the appropriate dimension surrogate keys.

Multi-Valued Bridge Table Builder (subsystem 15) — Builds and maintains bridge tables to support multi-valued relationships.

Late Arriving Data Handler (subsystem 16) — Applies special modifications to the standard processing procedures to deal with late-arriving fact and dimension data.

Dimension Manager (subsystem 17) — Centralized authority who prepares and publishes conformed dimensions to the data warehouse community.

Fact Table Provider (subsystem 18) — Owns the administration of one or more fact tables and is responsible for their creation, maintenance and use.

Aggregate Builder (subsystem 19) — Builds and maintains aggregates to be used seamlessly with aggregate navigation technologies for enhanced query performance.

OLAP Cube Builder (subsystem 20) — Feeds data from the relational dimensional schema to populate OLAP cubes.

Data Propagation Manager (subsystem 21) — Prepares conformed, integrated data from the data warehouse presentation server for delivery to other environments for special purposes.

MANAGING THE ETL ENVIRONMENT

A data warehouse will not be a success until it can be relied upon as a dependable source for business decision making. To achieve this goal, the ETL system must constantly work toward fulfilling three criteria:

Reliability. The ETL processes must run consistently to provide data on a timely basis that is trustworthy at any level of detail.

Availability. The data warehouse must meet its service level agreements. The warehouse should be up and available as promised.

Manageability. A successful data warehouse is never done; it constantly grows and changes along with the business. Thus, ETL processes need to evolve gracefully as well.

The ETL management subsystems are the key architectural components that help achieve the goals of reliability, availability and manageability. Operating and maintaining a data warehouse in a professional manner is not much different than other systems operations: follow standard best practices, plan for disaster and practice (see related article, "Don't Forget the Owner's Manual"). Many of you will be very familiar with the following requisite management subsystems:

Job Scheduler (subsystem 22) — Reliably manages the ETL execution strategy, including the relationships and dependencies between ETL jobs.

Backup System (subsystem 23) — Backs up the ETL environment for recovery, restart and archival purposes.

Recovery and Restart (subsystem 24) — Processes for recovering the ETL environment or restarting a process in the event of failure.

Version Control (subsystem 25) — Takes snapshots for archiving and recovering all the logic and metadata of the ETL pipeline.

Version Migration (subsystem 26) — Migrates a complete version of the ETL pipeline from development into test and finally into production.

Workflow Monitor (subsystem 27) — Ensures that the ETL processes are operating efficiently and that the warehouse is being loaded on a consistently timely basis.

Sorting (subsystem 28) — Serves the fundamental, high-performance ETL processing role.

Lineage and Dependency (subsystem 29) — Identifies the source of a data element and all intermediate locations and transformations for that data element or, conversely, start with a specific data element in a source table and reveals all activities performed on that data element.

Problem Escalation (subsystem 30) — Support structure that elevates ETL problems to appropriate levels for resolution.

Paralleling and Pipelining (subsystem 31) — Enables the ETL system to automatically leverage multiple processors or grid computing resources to deliver within time constraints.

Security (subsystem 32) — Ensures authorized access to (and a historical record of access to) all ETL data and metadata by individual and role.

Compliance Manager (subsystem 33) — Supports the organization's compliance requirements typically through maintaining the data's chain of custody and tracking who had authorized access to the data.

Metadata Repository (subsystem 34) — Captures ETL metadata including the process metadata, technical metadata and business metadata, which make up much of the metadata of the total DW/BI environment.

SUMMING IT UP

As you may now better appreciate, building an ETL system is unusually challenging. The required ETL architecture requires a host of subsystems necessary to meet the demanding requirements placed on the data warehouse. To succeed, carefully consider each of these 34 subsystems. You must understand the breadth of requirements and then place an appropriate and effective architecture in place. ETL is more than just extract, transform and load; it's a host of complex and important tasks.

Bob Becker is a member of Kimball Group. He has focused on dimensional data warehouse consulting and education since 1989. Contact him at bob@kimballgroup.com.

© 2006 CMP Media LLC

Friday, November 9, 2007

om in de gaten te houden !

blogs MSDN Excel
http://blogs.msdn.com/excel/default.aspx

http://officewriter.softartisans.com/OfficeWriter-410.aspx

Building pivot tables using cube formulas:
http://sqlgoof.spaces.live.com/blog/cns!DDF0897782B1AC06!182.entry

Tuesday, August 28, 2007

Kansen voor nieuwe databases

28 augustus, 9:05 - De 'traditionele' relationele database loopt tegen zijn grenzen aan. Het basisontwerp is niet snel genoeg om de enorme vloed aan gegevens tijdig te verwerken en kan al helemaal niet uit zichzelf actie ondernemen. Een fontein aan nieuwe databasesoorten ontspruit.

Bron: computable

Thursday, August 2, 2007

MySQL wil vooruit in datawarehousing

woensdag 1 augustus 2007, Den haag, 10:38 uur

MySQL, leverancier van de gelijknamige open-source database, wil zijn werkterrein serieus uitbreiden naar datawarehousing-toepassingen. De archtiectuur van de database zou zich daar goed toe lenen.
MySQL heeft naam gemaakt als database voor vrij grote transactietoepassingen. Zo wordt de database bijvoorbeeld gebruikt door Marktplaats.nl. Opslag voor datawarehousing-toepassingen vergt echter andere capaciteiten van een database.
Zo dient de opslag in rijen en kolommen zodanig georganiseerd te zijn dat zoekvragen voor business intelligence niet domweg langs allerlei lege velden hoeven. Echte datawarehousing-databases comprimeren hun gegevens en slaan ze alleen op in 'kolommen', niet in 'rijen'.
MySQL heeft echter een modulaire opbouw waarbij de 'storage engine' losgekoppeld kan worden van de rest van de databasesoftware en ook door een andere engine vervangen kan worden. Voor datawarehousing-toepassingen zouden vervolgens zowel MySQL's eigen MyISAM als de engine BrightHouse van partner Infobright gebruikt kunnen worden. Die laatste wordt nu toegepast in een grote implementatie bij online-marketinggigant BlueLithium in de VS. (Freek Blankena)

donderdag 2 augustus 2007

Bron: automatiseringsgids

Thursday, July 19, 2007

Doublures en onduidelijkheid ICT nekken innovatie

Informatietechnologie draagt vaak amper bij aan de productiviteit en innovatie in bedrijven. Verdubbelingen in de ict-huishouding, de 'work-around' mentaliteit van de medewerkers en onduidelijkheid over de bedrijfsstrategie zijn hier debet aan. Dat schrijft onderzoeksbureau Forrester.

Bron: http://www.computable.nl/

Thursday, July 5, 2007

Ontoegankelijke informatie frustreert beslissingsprocessen

Bron: Automatisering Gids

Nederlandse managers zijn meer dan 15% van hun werktijd bezig met het zoeken naar informatie waarop beslissingen worden gebaseerd.

Personeel van een bedrijf van duizend medewerkers met een gemiddeld inkomen van 0,5 ton is op die manier 7,5 miljoen euro aan salaris kwijt.

Dat blijkt uit een onderzoek van Information Builders. Bij veel organisaties vertraagt ontoegankelijke informatie de besluitvormingsprocessen. Van de Nederlandse managers is 81% van mening dat de onderneming het tempo van het beslissingsproces moet opvoeren.

Driekwart vindt dat dat bereikt kan worden door informatie beter toegankelijk te maken. Bij 68% van de Nederlandse organisaties heeft elke afdeling een eigen systeem voor de bedrijfsinformatie. Door de systemen meer te centraliseren zou volgens een meerderheid van de respondenten het maken van beslissingen makkelijker worden. Minder dan eenderde van de organisaties maakt echter gebruik van een business intelligence-oplossing om cruciale informatie gebruiksvriendelijk te maken.

bron: content-hartman-communicatie.nl

Wednesday, July 4, 2007

Logistiek managers verspillen veel tijd aan vergaren van informatie

Ruim een derde van de managers bij logistieke bedrijven is dagelijks meer dan een uur kwijt met het zoeken naar bedrijfsinformatie. Ook zeggen ze te veel informatie te ontvangen waardoor ze moeilijker beslissingen kunnen nemen. ‘Dit kennis-isolationisme is dodelijk.’

Wanneer managers teveel tijd kwijt zijn met het zoeken naar managementinformatie om besluiten te kunnen nemen, zoals blijkt uit het onderzoek, dan is er iets met de toegang tot interne bronnen zoals de talrijke klantendatabases’, zegt Marco Gianotten van onderzoeksbureau Giarte.

Kennisisolationisme dodelijk
Voor managers moet het intern vergaren van data net zo gebruiksvriendelijk zijn als zoeken met Google, vindt Gianotten. Systemen voor analyse en rapportage – business intelligence – zijn volgens hem nog teveel het exclusieve domein van staffunctionarissen. ‘Dit kennis-isolationisme is dodelijk.’

bron: www.logistiek.nl

Tuesday, July 3, 2007

Omzet BI markt groeit flink

Bedrijven gebruiken business intelligence volgens IDC vooral om hun performance management te verbeteren en, zij het in mindere mate, om te voldoen aan interne en externe regels en procedures (compliance). Onder performance management vallen toepassingen voor de besluitvorming en bedrijfsrapportages, waarmee de efficiëntie kan worden vergroot en kosten en risico's juist kunnen worden verminderd. Bedrijven kijken ermee naar interne informatie, analyseren relevante trends en kunnen ermee diverse what-if scenario's nalopen.

Het is de vraag of concurrentie op prijs zal opwegen tegen de toenemende ontwikkelingskosten van bi-producten. Het ontwikkelen van de software is namelijk een kostbare aangelegenheid geworden, nu meer gegevens voor steeds meer gebruikers inzichtelijk moeten worden gemaakt.


bron: http://www.computable.nl/nieuws.jsp?id=2036885

Friday, June 29, 2007

Invoering BI weinig succesvol

Veel bedrijven ondervinden problemen bij de implementatie van business intelligence (bi). Bovendien gebruiken ze bi vaak verkeerd, waardoor het niet leidt tot een omzetstijging of kostenvermindering.

Het blijkt niet eenvoudig om als bedrijf een oplossing voor business intelligence (bi) succesvol in te voeren.

Marketingafdelingen leggen de resultaten van bi vaak naast zich neer. Daardoor blijven bijvoorbeeld promotieacties te lang ongewijzigd.

"Het hangt er wel vanaf hoe je ‘succes' definieert. Succes kan betekenen dat de technische implementatie binnen de afgesproken tijd en budget gebeurt. Maar het is natuurlijk belangrijker dat bi tot meer omzet en een hogere efficiëntie leidt."

"Veel organisaties kunnen niet overweg met de informatie uit hun bi-systeem. Marketingmedewerkers die aan de hand van datagedreven profielen wel meten wat ze doen, maar vervolgens hun processen niet aanpassen."

bron : computable

Organisaties hebben weinig inzicht in informatie

Grote organisaties maken te weinig gebruik van de informatie die in het bedrijf aanwezig is. Dit komt vooral doordat gegevens versnipperd en in verschillende vormen worden opgeslagen.


Het inzicht in bedrijfsgegevens laat nogal te wensen over bij grote organisaties. Dat blijkt uit onderzoek dat MarketCap uitvoerde in opdracht van business intelligence-leverancier SAS Institute. Bedrijven willen wel graag meer informatie halen uit hun data. Tweederde van de ondervraagden verwacht de komende twee jaar meer gebruik te maken van business intelligence en prestatiemanagement. Hiermee hopen zij hun strategische bedrijfsvoering te kunnen verbeteren.

bron: computable nieuws

Wednesday, June 27, 2007

Voorbij Business Intelligence

Voorbij business intelligence: een integrale benadering van Enterprise Information Management

Bill Gates van Microsoft bespreekt de integrale benadering van "enterprise information management". Hoe blijven we gefocust op werkzaamheden die het belangrijkst zijn en de meeste waarde opleveren?

Bron: http://www.microsoft.com/netherlands/executivecircle/executives/business_intelligence.aspx

Microsoft Executive Circle - Microsoft Executives: "Het probleem is tweeledig. Ten eerste is er de overbelasting door informatie. Gegeven de eindeloze stroom gegevens die elke seconde, dag na dag wordt gegenereerd, is de kernvraag: hoe kunnen we dat bijbenen? En in ons streven om bij te blijven, dient zich meteen de volgende vraag aan: hoe blijven we gefocust op de werkzaamheden die het belangrijkst zijn en de meeste waarde opleveren?
Ten tweede is er het verschijnsel dat ik ‘informatieonderbelasting' noem. We worden overspoeld met informatie maar dat wil nog niet zeggen dat we de tools hebben om deze informatie effectief te benutten."

Wat we nodig hebben, is een integrale benadering van enterprise information management, die alle aspecten van het informatieproces (creëren, verzamelen, gebruiken) bestrijkt en organisaties helpt het potentieel van hun investeringen in zowel informatie als mensen ten volle te benutten.

Microsoft heeft zich ten doel gesteld oplossingen op de markt te brengen die informatiewerkers via één uniforme methode toegang bieden tot bedrijfsinformatie, ongeacht waar deze is opgeslagen en zonder dat zij de applicatie hoeven te verlaten waarmee zij op dat moment werken, zodat zij gefundeerde beslissingen kunnen nemen en sneller actie kunnen ondernemen.

Producten zoals Windows Vista en Microsoft Office SharePoint Server 2007 en Microsoft Office Outlook 2007 (Office System 2007) zullen de kloof overbruggen tussen informatiewerkers en de informatie die zij nodig hebben om hun werk efficiënter te doen.

Een andere nieuwe technologie, bedoeld om de informatietoegang verder te stroomlijnen, die in de nabije toekomst beschikbaar komt, is een verbeterde zoektool: het Knowledge Network for Microsoft Office SharePoint Server 2007. Deze add-on traceert expertise en relaties binnen een organisatie zodat informatiewerkers snel contact kunnen leggen met mensen met de juiste kennis en vaardigheden.

Friday, June 22, 2007

Business Intelligence voor de massa...

Toonaangevende onderzoeksbureaus als Butler Group geven aan dat Business Intelligence steeds meer geïntegreerd gebruikt zal worden binnen alle lagen en onderdelen binnen een onderneming, dus: van strategie tot en met dagelijkse operatie. De ondernemingen die Business Intelligence niet alleen aan de "top 50", maar aan de "top 1000" beschikbaar stellen zullen de beste resultaten bereiken! Microsoft noemt deze trend: "BI for the masses", SAP noemt het "BI Analytics", Butler Group noemt het "Pervasive Intelligence". Dit impliceert onder andere dat BI gebruiksvriendelijk moeten zijn, en dat BI een combinatie van terugkerende en ad hoc informatiebehoefte moet faciliteren. Het BI systeem zal in dit opzicht een geïntegreerd systeem van organisatie, processen en tooling moeten zijn

Friday, June 1, 2007

Open-sourcemarkt verdrievoudigt tot 2011

Binnen vier jaar neemt het gebruik van open-sourcesoftware toe met meer dan een factor drie. Steeds meer zakelijke gebruikers zien het nut van deze vorm van software in.

Bron: computable

Naar mijn idee gaat open-source intelligence hier een belangrijke rol spelen. Ook de database MySQL zal meer en meer ingezet worden voor bedrijfsapplicaties.

Wednesday, May 16, 2007

Google gebruikt MySQL en Hyperion

Natuurlijk is MySQL zeker niet de enige database die Google gebruikt. Het bedrijf draait intern ook een 12GB OLAP-database voor zijn afdeling financiën. Die software, van Hyperion, is onlangs opgedeeld in drie delen omdat het uitvoeren van aanpassingen aan het systeem betekende dat de database regelmatig uit de lucht was.

Bron en volledige tekst: computable

Wednesday, May 2, 2007

visualisatie tools !

Visualization Tools: An interesting visualization portrays 100 different visualization tools you can use to add meaning and value to information. Thanks to Craig De Ruisseau for the link.
**** DISCLAIMER ****
http://www.inbev.com/common/emaildisclaimer.cfm